-
题名基于作业路径的存储系统作业感知条带优化方法
- 1
-
-
作者
鲜港
杨文祥
张晓蓉
喻杰
田永强
-
机构
国防科技大学计算机学院
中国空气动力研究与发展中心计算空气动力研究所
西南科技大学计算机科学与技术学院
-
出处
《计算机工程》
北大核心
2025年第3期34-44,共11页
-
基金
国家自然科学基金(62202471,61872304,61802320)
四川省科技厅重点研发项目(2022YFG0040)。
-
文摘
为解决超级计算机I/O效率不高、用户无法充分利用存储系统I/O能力的问题,研究生产型超级计算机对象存储目标(OST)上的工作负载,分析高性能计算作业的I/O模式和整个系统中作业的I/O分布情况,探索提升I/O效率的方法。研究结果显示:在传统非条带化设置下,OST上的瞬时负载严重不平衡,导致无法调用未充分利用的OST进行I/O请求;不同作业的I/O模式对OST的使用情况也有所不同,因此可以根据作业的I/O模式适当调整文件条带布局,调动未充分利用的OST来提升I/O性能。提出一种作业感知条带优化方法,包括静态和动态文件条带化。静态文件条带化将用户的作业均进行条带优化,而动态文件条带化利用作业名和作业路径的聚类方式提取作业之间的相似性,预测用户部分可条带优化的作业,并在作业完成后还原条带配置以减小条带设置错误的负面影响。实验结果表明,作业感知文件条带化能够增加作业使用的OST数量,有效提升作业的并行I/O性能,同时不会对系统稳定性产生显著影响。
-
关键词
作业感知
文件条带化
高性能计算
并行I/O
存储系统
-
Keywords
job awareness
file striping
High Performance Computing(HPC)
parallel I/O
storage system
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名并行文件系统自适应的文件条带化技术
被引量：2
- 2
-
-
作者
魏文国
陈潮填
谢赞福
陈国华
-
机构
华南理工大学计算机科学与工程学院
广东技术师范学院计算机科学系
-
出处
《计算机工程》
EI
CAS
CSCD
北大核心
2006年第15期78-80,共3页
-
基金
广东省高校自然科学研究基金资助项目(Z03060)
-
文摘
研究并行文件系统自适应的文件条带(Striping)策略对改进文件访问性能的影响,并开发动态的文件条带分析模型,利用自动访问模式分类和实时文件系统性能数据为文件条带策略选择模糊逻辑规则库,来优化文件访问性能。研究结果表明:当文件系统负载低时,可以尽量将文件分布到所有磁盘上来最小化I/O的反馈时间;反之,在系统负载高时,使文件分布的范围小一些以便最大化文件系统整体的吞吐量。并通过实验给出了请求大小、请求宽度、请求到达率与系统性能的相互关系,实证了自适应规则库的正确性。
-
关键词
并行文件系统
文件条带化
自适应
模糊控制
-
Keywords
Parallel file system
File striping
Automatic adaptive
Fuzzy control
-
分类号
TP338.6
[自动化与计算机技术—计算机系统结构]
-
-
题名智慧缩微建设之缩微数字化扫描流程及系统优化
- 3
-
-
作者
邢君
-
机构
中国国家图书馆
-
出处
《数字与缩微影像》
2025年第1期14-16,共3页
-
文摘
智慧缩微建设是智慧图书馆体系的有机组成部分,是21世纪文献缩微事业在技术、管理流程等领域需要实现的系统性新飞跃。智慧缩微的实现需要借助数字缩微和智慧图书馆两方面的基础,循序渐进、逐步推进[1]。笔者详细介绍了缩微胶片数字化扫描的流程—利用专业的高精扫描设备对缩微胶片进行扫描,输出图像资源并导出数据条带的过程[2];阐述了常规数字扫描工作流程的弊端、建立流程优化模型的作用以及数字缩微智慧辅助系统建设的意义,以期为提升图书馆数字缩微工作的质量提供支持。
-
关键词
缩微数字化
数字图像
条带文件
扫描
-
分类号
G255.72
[文化科学—图书馆学]
G250.7
[文化科学—图书馆学]
-
-
题名高效的自适应文件系统的原型设计
- 4
-
-
作者
谢桂园
魏文国
-
机构
广东技术师范学院培训中心
广东技术师范学院电子与信息学院
-
出处
《计算机工程与设计》
CSCD
北大核心
2009年第10期2597-2598,F0003,共3页
-
文摘
为了改进文件系统的性能,提出的文件系统既具有自适应的RAID3和RAID5混合结构,又能根据缓存数据在缓冲区的活动性不同而分类缓存,数据被延迟刷新到磁盘来减少、合并写磁盘的次数,进一步采用自适应的文件条带策略来优化文件访问性能。研究结果表明,该文件系统能按需自适应地读写多媒体数据和事务处理数据,当文件系统负载低时,可以尽量积极地将文件分布到所有磁盘来最小化I/O的反馈时间;反之,在系统负载高时,将文件分布的范围小一些以便最大化文件系统整体的吞吐量。
-
关键词
文件系统
缓存
延迟写
文件条带化
自适应
RAID
-
Keywords
file system
buffer
write behind
file striping
adaptive
RAID
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名基于均衡数据放置策略的分布式网络存储编码缓存方案
被引量：3
- 5
-
-
作者
陈雪
胡玉平
-
机构
广州工商学院计算机科学与工程系
广东财经大学信息学院
-
出处
《计算机应用研究》
CSCD
北大核心
2020年第4期1194-1199,共6页
-
基金
广东省自然科学基金资助项目(2016A030313717)。
-
文摘
为了保证网络存储的负载平衡并避免在节点或磁盘故障的情况下造成不可恢复的损失,提出一种基于均衡数据放置策略的分布式网络存储编码缓存方案,针对大型高速缓存和小型缓存分别给出了不同的解决办法。首先,将Maddah方案扩展到多服务器系统,结合均衡数据放置策略,将每个文件作为一个单元存储在数据服务器中,从而解决大型高速缓存问题。然后,将干扰消除方案扩展到多服务器系统,利用干扰消除方案降低缓存的峰值速率,结合均衡数据放置策略,提出缓存分段的线性组合,从而解决小型缓存问题。最后,通过基于Linux的NS2仿真软件,分别在一个和两个奇偶校验服务器系统中进行仿真实验。仿真结果表明,提出的方案可以有效地降低峰值传输速率,相比其他两种较新的缓存方案,提出的方案获得了更好的性能。此外,采用分布式存储虽然限制了将来自不同服务器的内容组合成单个消息的能力,导致编码缓存方案性能损失,但可以充分利用分布式存储系统中存在的固有冗余,从而提高存储系统的性能。
-
关键词
均衡数据放置策略
分布式网络存储
编码缓存
文件条带化
奇偶校验服务器
-
Keywords
balanced data placement strategy
distributed storage
coded cache
striping
parity-check server
-
分类号
TP393.07
[自动化与计算机技术—计算机应用技术]
-
