期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息

海量结构化数据存储检索系统 被引量：31

Massive Structured Data Oriented Storage and Retrieve System
在线阅读 下载PDF
导出
摘要 Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合. Big Data是近年在云计算领域中出现的一种新型数据,传统关系型数据库系统在数据存储规模、检索效率等方面不再适用.目前的分布式No-SQL数据库可以提供分布式数据存储环境,但是无法支持多列查询.设计并实现分布式海量结构化数据存储检索系统(MDSS).系统采用列存储结构,采用集中分布式B+Tree索引和局部索引相结合的方法提高检索效率.在此基础上讨论复杂查询条件的任务分解机制,支持大数据的多属性检索、模糊检索以及统计分析等查询功能.实验结果表明,提出的分布式结构化数据管理技术和查询任务分解机制可以显著提高分布式条件下大数据集的查询效率,适合应用在日志类数据、流记录数据等海量结构化数据的存储应用场合.
作者 吴广君 王树鹏 陈明 李超
机构地区 中国科学院计算技术研究所 北京邮电大学 国家计算机网络应急技术处理协调中心
出处 《计算机研究与发展》 EI CSCD 北大核心 2012年第S1期1-5,共5页 Journal of Computer Research and Development
基金 国家自然科学基金项目(61003260) 国家"八六三"高技术研究发展计划基金项目(2009AA01A403 2007AA010501 2007AA01Z467 2007AA01Z474)
关键词 大数据 HADOOP 数据检索 No-SQL数据库 海量数据存储 big data Hadoop data query No-SQL DB massive storage
分类号 TP3 [自动化与计算机技术—计算机科学与技术]
  • 相关文献

参考文献7

  • 1丁琳琳,信俊昌,王国仁,黄山.基于Map-Reduce的海量数据高效Skyline查询处理[J].计算机学报,2011,34(10):1785-1796. 被引量：44
  • 2Chang F,Dean J,Ghemawat S,et al.Bigtable:A distributed storage system for structured data. ACM Trans on Computer System . 2008
  • 3Lindsay B G,et al.Notes on Distributed Databases. RJ2571 (33471) . 1979
  • 4BERNSTEIN P A,GOODMAN N.An algorithm for concurrencycontrol and recovery in replicated distributed databases. ACM Transactions on Graphics . 1984
  • 5LAKSHMAN A,MALIK P.Cassandra:a decentralized stru-ctured storage system. ACM SIGOPS Operating SystemsReview . 2010
  • 6Utkarsh Srivastava,Adam Silberstein,Philip Bohannon,Hans Amo Jacobsen,Nick Puz,Daniel Weaver,Brian F.Cooper,Raghu Ramakrishnan,Ramana Yemeni.Pnuts:Yahoo!‘s hosted data serving platform. VLDB Conference . 2008
  • 7Giuseppe DeCandia,Deniz Hastorun,Madan Jampani,et al.Dynamo:Amazon‘s Highly Available Key-value store. Proceedings of twenty-first ACM SIGOPS symposium on Operating systems principles . 2007

二级参考文献14

  • 1周红福,宫学庆,郑凯,周傲英.基于高维空间的在线高效子空间Skyline算法——CSky[J].计算机学报,2007,30(8):1409-1417. 被引量：8
  • 2Borzsonyi S, Kossmann D, Stocker K. The Skyline operator//Proceedings of the ICDE. Washington, DC, USA, 2001:421-430.
  • 3Dean J, Ghemawat S. MapReduce: Simplified data processing on large cluster. Communications of the ACM, 2005, 51 (1) :107- 113.
  • 4Tan K L, Eng P K, Ooi B C. Efficient progressive Skyline computation//Proceedings of the VLDB. Roma, Italy, 2001: 301-310.
  • 5Kossmann D, Ramsak F, Rost S. Shooting stars in the sky: An online algorithm for Skyline queries//Proceedings of the VLDB. Hong Kong, China, 2002:275-286.
  • 6Wolf-Tilo Balke, Ulrich Giintzer, Jason Xin Zheng. Efficient distributed Skylining for web information systems//Proceed ings of the EDBT. Heraklion, Crete, Greece, 2004: 256-273.
  • 7Wu Ping, Zhang Cai-Jie, Feng Ying et al. Parallelizing skyline queries for scalable distribution//Proceedings of the ED BT. Munich, Germany, 2006: 112-130.
  • 8Xin Jun-Chang, Wang Guo-Ren, Chen Lei et al. Continuously maintaining sliding window Skylines in a sensor network// Proceedings of the DASFAA. Bangkok Thailand, 2007: 509- 521.
  • 9Dittrich J, Quiane-Ruiz J-A, Jindal Aet al. Hadoop+ +: Making a yellow elephant run like a cheetah(without it even noticing). Proceedings of the VLDB Endowment, 2010, 3(1): 518-529.
  • 10Bu Y, Howe B, Balazinska M et al. HaLoop: Efficienl iterative data processing on large clusters. Proceedings of the VLDB Endowment, 2010, 3(1): 285-296.

共引文献43

同被引文献269

引证文献31

二级引证文献179

计算机研究与发展
2012年 第S1期

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部