期刊文献+

基于网络空间安全实时数据的HDFS小文件问题研究 被引量:2

Research on HDFS Small File Problem Based on Real-time Data of Cybersecurity
在线阅读 下载PDF
导出
摘要 网络空间安全态势感知要求实时掌握安全风险信息,即实时将数据写入并能尽快检索出来。如果同一存储空间被同时执行读写操作,将引发冲突,导致错误。部分实时数据源具备文件定期转移功能,可以解决冲突问题。当时间间隔较短时,定期转移将产生众多小文件,造成存储资源浪费。针对产生的小文件问题,文章研究并提出了基于文件阈值的转移追加策略。在定期转移文件的基础上,添加文件追加的功能,采取一定策略对文件进行合并处理,保证文件大小不低于预定阈值。实验结果显示该策略可以有效减少生成的文件数量,降低对存储空间资源的浪费。 bCybersecurity awareness needs the real-time risk information to work. That is to write the real-time data and search it out as soon as possible. However, read and write the same storage unit at the same time will cause conflict and finally result into error. Some data source has the ability to transfer files on a regular basis, which can solve this problem. But it will produce a lot of small files and waste a lot of storage with small interval. To solve the small file problem, this paper came up with a file transfer append strategy based on file size. That is to add append function to the write and transfer file function to merge small files. This strategy can guarantee the file size over the pre-set value. The simulation result shows that this strategy can reduce the file amount and cut down the waste of storage effectively.
出处 《信息网络安全》 CSCD 2017年第10期81-85,共5页 Netinfo Security
基金 国家自然科学基金青年科学基金[61601443] 国家重点研发计划[2017YFB0801900]
关键词 大数据 分布式文件系统 网络空间安全 big data HDFS cybersecurity
  • 相关文献

参考文献5

二级参考文献42

共引文献212

同被引文献28

引证文献2

二级引证文献10

相关作者

内容加载中请稍等...

相关机构

内容加载中请稍等...

相关主题

内容加载中请稍等...

浏览历史

内容加载中请稍等...
;
使用帮助 返回顶部