大规模存储中的一个有效的数据放置算法 被引量：4

1

作者 谈华芳 孙丽丽 侯紫峰 《计算机工程》 CAS CSCD 北大核心 2006年第10期47-49,共3页

在大规模存储中,经常面临组件的增加和失败。为了提高可用性和可管理性,研究和比较了不同的数据定位机制,设计了一个离散的、自适应的算法。这个算法保证任何一个特定的数据对象的副本不会被放置在同一个存储节点上。并且根据存储节点... 在大规模存储中,经常面临组件的增加和失败。为了提高可用性和可管理性,研究和比较了不同的数据定位机制,设计了一个离散的、自适应的算法。这个算法保证任何一个特定的数据对象的副本不会被放置在同一个存储节点上。并且根据存储节点的能力公平地分布数据对象到存储节点上。当新的存储节点加入系统或已存在的节点退出系统时,需重新分布的数据对象被尽可能地减少。算法中没有集中控制点,保证了系统的可扩展性。 展开更多

关键词 大规模存储 数据对象放置 存储节点

在线阅读 下载PDF 职称材料

一个实现大规模存储的方案

2

作者 高华 陈敏 余东昌 《气象科技》 2013年第6期1026-1030,共5页

基于廉价磁盘冗余阵列(RAID)方法和逻辑卷管理(LVM)工具,将一台机架式服务器和五台磁盘阵列进行连接管理,实现了一种单一逻辑磁盘容量达90TB的大规模存储空间。该方案注重了系统的稳定性和数据的安全性。磁盘阵列采用串联方式,增强了可... 基于廉价磁盘冗余阵列(RAID)方法和逻辑卷管理(LVM)工具,将一台机架式服务器和五台磁盘阵列进行连接管理,实现了一种单一逻辑磁盘容量达90TB的大规模存储空间。该方案注重了系统的稳定性和数据的安全性。磁盘阵列采用串联方式,增强了可扩展性,理论上可以无限扩展。实际应用表明,该方案方便了数值预报业务数据的安全、快速存取,并具有容量的可扩展性。满足了省级气象部门对科研数据存储的需求,尤其是数值预报结果检验工作对大规模存储的需求。 展开更多

关键词 磁盘阵列 逻辑卷 大规模存储 BJRUC

在线阅读 下载PDF 职称材料

面向大规模存储系统的静态文件布局策略 被引量：1

3

作者 龙赛琴 赵跃龙 +2 位作者 谢晓玲 陈伟 曾文英 《华南理工大学学报（自然科学版）》 EI CAS CSCD 北大核心 2013年第1期70-76,共7页

为了提高大规模存储系统的访问性能,提出了一种静态文件布局策略(SFLS).SFLS首先把磁盘分成两组,分别用于存放热点文件和大文件,然后按服务时间长短将排序好的文件分别以Round-robin和Greedy的方式存放到两组磁盘上;在进行文件访问时,... 为了提高大规模存储系统的访问性能,提出了一种静态文件布局策略(SFLS).SFLS首先把磁盘分成两组,分别用于存放热点文件和大文件,然后按服务时间长短将排序好的文件分别以Round-robin和Greedy的方式存放到两组磁盘上;在进行文件访问时,可根据文件的大小和热度来选择相应的磁盘组进行访问.该策略加快了文件I/O请求的访问速度,提高了存储系统的访问性能.实验结果表明,SFLS能动态适应系统规模的增长,与SP、SOR静态布局策略和HP动态布局策略相比,具有更低的平均响应时间和更好的负载均衡性能. 展开更多

关键词 大规模存储系统 文件布局策略 静态布局 负载均衡 平均响应时间

在线阅读 下载PDF 职称材料

大规模存储系统可靠性参数最优化分析

4

作者 余尧 《电子技术与软件工程》 2015年第16期201-201,共1页

在大规模的存储系统中,数据的可靠性变得越来越重要,过往的研究大多数都是在已知的系统规模下,分析基本的系统参数,但较少考虑它们的最优组合。本文将简要分析大规模存储系统的可靠模型下,各个系统参数的最优值及它们组合在一起的最优值... 在大规模的存储系统中,数据的可靠性变得越来越重要,过往的研究大多数都是在已知的系统规模下,分析基本的系统参数,但较少考虑它们的最优组合。本文将简要分析大规模存储系统的可靠模型下,各个系统参数的最优值及它们组合在一起的最优值,促进更可靠的大规模存储系统的发展。 展开更多

关键词 大规模存储系统 可靠性参数 最优值

在线阅读 下载PDF 职称材料

带重复数据删除的大规模存储系统可靠性保证 被引量：6

5

作者 顾瑜 刘川意 +3 位作者 孙林春 阎斌 汪东升 鞠大鹏 《清华大学学报（自然科学版）》 EI CAS CSCD 北大核心 2010年第5期739-744,共6页

重复数据删除技术将重复数据块归并存储,提高空间利用率却降低数据可靠性。该文提出一种数据可靠性保证机制——RLDS。RLDS将变长数据块打包成定长块,再使用ECC编码从一组数据块生成带纠错的块,分布到动态挑选的存储节点冗余组中。在节... 重复数据删除技术将重复数据块归并存储,提高空间利用率却降低数据可靠性。该文提出一种数据可靠性保证机制——RLDS。RLDS将变长数据块打包成定长块,再使用ECC编码从一组数据块生成带纠错的块,分布到动态挑选的存储节点冗余组中。在节点发生错误时,RLDS分布式地恢复出错数据。实验结果表明:RLDS能取得与用RAID纠错机制的系统相近的空间利用率,同时提供与用多倍冗余复制机制的系统相近的数据可靠性,数据块平均恢复时延也比RAID系统大为缩短。RLDS通过数据再生还解决了节点超载问题,提供系统动态负载均衡功能。 展开更多

关键词 大规模存储系统 重复数据删除 可靠性 ECC纠错码

原文传递

大规模能源存储系统在电力电气工程中的应用及最优调度研究

6

作者 王旭强 《中文科技期刊数据库(全文版)工程技术》 2024年第8期077-080,共4页

大规模能源存储系统在电力电气工程中占据重要地位,统筹兼顾电能产生、转换、输送、使用等环节,确保电力系统的稳定运行。本研究聚焦于大规模能源存储系统的应用及最优调度,创新性地提出一种基于遗传算法与最小割法的混合调度算法。该... 大规模能源存储系统在电力电气工程中占据重要地位,统筹兼顾电能产生、转换、输送、使用等环节,确保电力系统的稳定运行。本研究聚焦于大规模能源存储系统的应用及最优调度,创新性地提出一种基于遗传算法与最小割法的混合调度算法。该算法依据电力系统的基本特征、调度原则及能源存储设备的特性,构建运行调度模型,并通过实例分析验证了其有效性。本研究成果为解决电力系统中能源存储的优化调度问题提供了新思路,有助于提升电力系统的运行效率和稳定性。最后,通过中国某电力系统的实例验证,测试结果表明,使用本算法能有效地提高电力调度质量,使电力系统的运营效率得到显著提升,同时,对于减轻电力系统的负载压力,保证电力供应的安全稳定,具有良好的指导意义。让能源存储设备在电力系统中发挥更大的作用,旨在为整个电力系统的经济、可靠和高效运行提供理论支撑。 展开更多

关键词 大规模能源存储系统 电力电气工程 最优调度 遗传算法与最小割法 电力系统稳定。

在线阅读 下载PDF 职称材料

大规模数据存储的系统结构研究 被引量：2

7

作者 黄笑鹃 余颖 《计算机与现代化》 2003年第10期18-21,共4页

分析了现有的三种大规模数据存储结构:DAS、NAS和SAN,说明了其各自的优缺点和应用范围,提出了综合NAS和SAN各自优势的一种存储结构。

关键词 大规模数据存储系统 系统结构 存储方式 存储设备 计算机

在线阅读 下载PDF 职称材料

Goldfish:基于矩阵分解的大规模RDF数据存储与查询系统 被引量：11

8

作者 顾荣 仇红剑 +3 位作者 杨文家 胡伟 袁春风 黄宜华 《计算机学报》 EI CSCD 北大核心 2017年第10期2212-2230,共19页

随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对... 随着互联网应用的迅猛发展和语义网技术研究的深入,语义数据呈现出爆炸性增长趋势.一方面,对于语义数据实现高效存储和查询是语义网应用的重要基础,越来越多的语义应用可以依赖于此以提供更好的服务;另一方面,语义数据的爆炸性增长,对大数据环境下的语义数据的存储与查询技术提出了新的挑战.传统的基于关系型数据库的语义数据与查询系统已难以满足大规模语义数据的存储与查询需求.该文针对大规模RDF数据的存储与查询问题,以OpenRDF Sesame框架为基础,采用分布式分层式存储架构,提出并实现了属性表存储结构来进行语义数据的存储.在此基础上,针对布尔矩阵分解算法在对大规模语义数据构造属性表较慢的问题,基于Spark分布式计算框架提出并实现了并行化频繁项集挖掘算法求解大规模矩阵分解,以加速属性表的构造过程.并且,在查询层增加了基于哈希转换等查询优化.最后,基于该文所提出的索引结构和优化方法设计实现了原型系统Goldfish,并在大规模合成和真实数据集上进行了实验对比.结果表明,Goldfish原型系统比Rainbow系统查询性能平均提升约6倍,比Jena-HBase查询性能平均提升约500倍,比基于MapReduce的RDF查询系统SHARD性能平均提升约1200倍. 展开更多

关键词 大规模RDF存储 矩阵分解 分层式存储 大数据 语义网 SPARK

在线阅读 下载PDF 职称材料

基于Lustre的大规模文件系统拥塞控制算法的研究 被引量：4

9

作者 张钰森 吴庆波 谭郁松 《计算机研究与发展》 EI CSCD 北大核心 2011年第S1期189-193,共5页

在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥... 在高性能计算中,基于对象存储的分布式文件系统Lustre文件系统具有极为广泛的应用,并取得了较好的效果.随着存储规模的不断扩大,Lustre文件系统内部的请求数量呈线性增长趋势,拥塞随之发生.通过分析发生拥塞的Lustre文件系统,针对其拥塞原因提出了一种大规模存储下的拥塞控制算法——状态感知拥塞控制算法.对比拥塞控制前后Lustre文件系统的测试结果可以发现,该算法极大地提高了Lustre文件系统在大规模存储情况下的性能,提高了Lustre文件系统的扩展性. 展开更多

关键词 LUSTRE文件系统 大规模存储 状态感知拥塞控制

在线阅读 下载PDF 职称材料

大规模分布式存储系统：原理解析与架构实战

10

《中国科技信息》 2013年第19期140-140,共1页

《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典著作理论方面，不仅讲解了大规模分布式存储系统的核心技术和基本原理，而且对谷歌、亚马逊、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分... 《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典著作理论方面，不仅讲解了大规模分布式存储系统的核心技术和基本原理，而且对谷歌、亚马逊、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分析；实战方面．首先通过对阿里巴巴的分布式数据库OceanBase的实现细节的深入剖析完整地展示了大规模分布式存储系统的架构与设计过程．然后讲解了大规模分布式存储技术在云计算和大数据领域的实践与应用。 展开更多

关键词 《大规模分布式存储系统 原理解析与架构实战》 书刊 发行工作 计算机技术

在线阅读 下载PDF 职称材料

基于带外存储虚拟化的逻辑卷高性能快照 被引量：3

11

作者 周炜 谭怀亮 +1 位作者 易乐天 舒继武 《计算机研究与发展》 EI CSCD 北大核心 2012年第3期636-645,共10页

在逻辑卷级别实现快照既能屏蔽物理存储设备的异构性,又能为各种应用提供透明的数据保护支持.提出了一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap,它通过可扩展的元数据组织策略,能够灵活使用多种类型的快照适应不同应用的需求... 在逻辑卷级别实现快照既能屏蔽物理存储设备的异构性,又能为各种应用提供透明的数据保护支持.提出了一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap,它通过可扩展的元数据组织策略,能够灵活使用多种类型的快照适应不同应用的需求;通过以Finesnap卷、Checkpoint卷两种类型快照卷构建混合快照链表和压缩快照索引数据实现了高性能快照,以高频度生成快照时系统能保持较高的性能和存储空间利用率;引入自适应快照机制,通过监控数据块修改频度,使自动生成快照的时间间隔随应用负载的变化动态调整,实现数据按需保护.基于真实工作负载和基准测试程序的实验表明,在构建混合快照链表的条件下,LVHPsnap的性能和存储空间利用率随Finesnap卷的比例增加而提高,例如当Finesnap卷与Checkpoint卷比例分别为4:1和8:1时,LVHPsnap的性能分别较集群虚拟化系统LVM2提高了109.45%和130.86%,存储空间使用量分别仅为LVM2系统的43.40%和31.35%. 展开更多

关键词 高性能快照 大规模存储系统 带外存储虚拟化 混合快照链表 自适应快照

在线阅读 下载PDF 职称材料

视频存储服务器的准入控制策略

12

作者 张选芳 《成都理工大学学报（自然科学版）》 CAS CSCD 北大核心 2004年第4期408-411,共4页

分析了大规模视频存储服务器的准入控制和基于磁盘系统的视频服务器的准入控制策略。提出了基于磁盘系统的为保证视频服务器接纳更大数目用户的比例法,即保证在每个服务周期中为每个用户要求检索到的数据块的数目与其对应的回放速率成比... 分析了大规模视频存储服务器的准入控制和基于磁盘系统的视频服务器的准入控制策略。提出了基于磁盘系统的为保证视频服务器接纳更大数目用户的比例法,即保证在每个服务周期中为每个用户要求检索到的数据块的数目与其对应的回放速率成比例,这种算法能够保证得到支持多用户媒体回放的稳态性和迁移态连续性的要求。与循环Robin法和穷举法相比,比例法是一个更好的选择。 展开更多

关键词 大规模视频存储服务器 准入控制 循环Robin法 穷举法 比例法

在线阅读 下载PDF 职称材料

专题序言

13

作者 金钟 《数据与计算发展前沿》 CSCD 2024年第1期1-2,共2页

随着创新算力与新一代人工智能技术的发展,超算与人工智能的融合已成为驱动科技创新的关键力量,将长期为我国各行业转型升级和数字经济发展提供核心驱动力。近年来,中国超算通过国产先进计算架构、高性能多核处理器、高速互连网络、大... 随着创新算力与新一代人工智能技术的发展,超算与人工智能的融合已成为驱动科技创新的关键力量,将长期为我国各行业转型升级和数字经济发展提供核心驱动力。近年来,中国超算通过国产先进计算架构、高性能多核处理器、高速互连网络、大规模存储等关键技术构建,在通用CPU计算能力、网络能力、存储能力以及应用服务能力等多方面实现倍增,用以支持高性能计算、AI大模型训练以及大数据分析各类应用模式。基于国产异构加速计算平台的计算资源,通过联合产业链上下游企业、高校、科研院所、重点用户单位等相关创新力量。 展开更多

关键词 高性能计算 人工智能技术 大数据分析 多核处理器 大规模存储 模型训练 计算平台 高速互连

在线阅读 下载PDF 职称材料

重复数据删除中的无向图遍历分组预测方法 被引量：5

14

作者 王龙翔 张兴军 +2 位作者 朱国峰 朱跃光 董小社 《西安交通大学学报》 EI CAS CSCD 北大核心 2013年第10期51-56,共6页

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中... 针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法。该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量。对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能。实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10%时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47%提高到87.6%。 展开更多

关键词 重复数据删除 分组预测 大规模存储系统

在线阅读 下载PDF 职称材料

基于镜像的高可用数据对象布局算法

15

作者 刘仲 任浩 周兴铭 《国防科技大学学报》 EI CAS CSCD 北大核心 2006年第5期42-46,共5页

镜像是提高数据可用性的流行方法。借鉴RAID的方法,在算法一级实现数据的冗余分布,提出基于镜像的高可用数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫... 镜像是提高数据可用性的流行方法。借鉴RAID的方法,在算法一级实现数据的冗余分布,提出基于镜像的高可用数据对象布局算法。在数据对象和存储节点失效时,利用冗余数据重构数据对象和存储节点,有效保证存储系统的高可用性。采用马尔可夫激励模型对存储系统进行定量的可用性分析,计算结果表明该方法是有效的。 展开更多

关键词 大规模存储系统 高可用性 数据对象布局

在线阅读 下载PDF 职称材料

USB-HOST实时数据采集嵌入式模块的实现

16

作者 黄樱 赵巾帼 +1 位作者 罗庆云 刘君 《微计算机信息》 北大核心 2008年第32期55-56,共2页

USB是一种得到了广泛应用的新型总线,被数据采集和仪器设备大量采用。文章描述了一种基于嵌入式USB主机的实时数据采集嵌入式模块,该系统由嵌入式USB主机控制器来实现数据存储,使仪器可以脱离PC独立运行和将数据存储在移动USB设备中,扩... USB是一种得到了广泛应用的新型总线,被数据采集和仪器设备大量采用。文章描述了一种基于嵌入式USB主机的实时数据采集嵌入式模块,该系统由嵌入式USB主机控制器来实现数据存储,使仪器可以脱离PC独立运行和将数据存储在移动USB设备中,扩大了该设备的使用范围。 展开更多

关键词 USB—HOST 通用串行总线 嵌入式系统 SL811HS 大规模存储协议

在线阅读 下载PDF 职称材料

内容网络及其关键技术

17

作者 陈亮 《现代计算机》 2013年第19期12-18,共7页

随着互联网的蓬勃发展,数据内容也海量增长,同时一些数据的重复分发情况也非常显著。介绍一种新的网络技术——内容网络,其主要目的是将内容分发到离用户尽可能近的地点,用来缩短传输距离、降低骨干网传输开销,提升客户体验。将研究内... 随着互联网的蓬勃发展,数据内容也海量增长,同时一些数据的重复分发情况也非常显著。介绍一种新的网络技术——内容网络,其主要目的是将内容分发到离用户尽可能近的地点,用来缩短传输距离、降低骨干网传输开销,提升客户体验。将研究内容网络及其关键技术,同时提出后续的研究方向。 展开更多

关键词 内容网络 内容发现 大规模存储 缓存调度 应用适配

在线阅读 下载PDF 职称材料

基于并行磁盘阵列的视频数据布局 被引量：3

18

作者 何元清 孙世新 黄天云 《计算机应用研究》 CSCD 北大核心 2004年第4期63-65,共3页

分析了大规模视频存储服务器的性能指标要求、体系结构、数据布局和准入控制等问题,提出了基于并行磁盘阵列上的、可满足用户多QoS要求的、基于三层可扩展的MPEG2视频编码的多分段视频存储方案,比已有的平衡放置、周期放置等方案能提供... 分析了大规模视频存储服务器的性能指标要求、体系结构、数据布局和准入控制等问题,提出了基于并行磁盘阵列上的、可满足用户多QoS要求的、基于三层可扩展的MPEG2视频编码的多分段视频存储方案,比已有的平衡放置、周期放置等方案能提供更好的灵活性、更高的可扩展性。 展开更多

关键词 并行 磁盘阵列 大规模视频存储器服务器 体系结构 数据布局

在线阅读 下载PDF 职称材料

云计算技术研究与应用综述 被引量：20

19

作者 李晓辉 《电子测量技术》 2011年第7期1-4,共4页

提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展... 提出1个相对系统和综合的云计算参考性定义,指出云计算是"以互联网为载体,利用虚拟化等手段整合大规模分布式可配置的计算资源,使其以服务的方式提供给用户,满足用户按需使用的计算模式",然后从计算模式、科学研究、社会发展等多个维度阐明了云计算作为现代计算技术发展的必然产物所具备的发展意义,总结了国内外产业界、学术界、政府机构等在云计算方面的最新研究进展,深入分析了云计算研究过程中的重点和难点,最后指出了云计算未来的发展趋势。 展开更多

关键词 云计算 虚拟化 海量数据处理 大规模分布式存储

在线阅读 下载PDF 职称材料

基于云计算的油田数据分析系统 被引量：2

20

作者 哈文雷 《中国新技术新产品》 2013年第17期32-32,共1页

油田行业生产工艺流程复杂,精细化分工,由此产生的生产数据量巨大,而数据是油田生产管理的重要资产,合理有效的分析利用这些数据,能够提高油田生产效率,处理庞大的数据量,给油田信息平台建设带来巨大挑战。本文结合最新的云计算技术特点... 油田行业生产工艺流程复杂,精细化分工,由此产生的生产数据量巨大,而数据是油田生产管理的重要资产,合理有效的分析利用这些数据,能够提高油田生产效率,处理庞大的数据量,给油田信息平台建设带来巨大挑战。本文结合最新的云计算技术特点,探讨分析私有云计算在油田数据分析系统中的应用方案。 展开更多

关键词 数据分析 云计算 系统管理 数据处理 通信 大规模存储 互联网

在线阅读 下载PDF 职称材料