期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到1篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
减少任务完成时间和数据局部性的数据复制及副本放置算法 被引量：1
1
作者 廖仲夏 宋雨欣 廖启明 《电子测量与仪器学报》 CSCD 北大核心 2018年第2期146-152,共7页
针对Hadoop框架下map任务阶段的任务完成时间和数据局部性问题,提出了一种基于拉格朗日插值多项式的数据复制和数据副本放置算法.具体实现是通过使用拉格朗日插值多项式来预测数据文件的访问计数,从而优化每个数据文件的复制因子,自适... 针对Hadoop框架下map任务阶段的任务完成时间和数据局部性问题,提出了一种基于拉格朗日插值多项式的数据复制和数据副本放置算法.具体实现是通过使用拉格朗日插值多项式来预测数据文件的访问计数,从而优化每个数据文件的复制因子,自适应地决定是否产生一个新的副本,或使用已加载的数据作为缓存;并提出了一种数据副本放置算法来有效地减轻rack和rack-off局部性.性能仿真结果表明,数据复制和数据放置算法相比于Hadoop中默认的数据复制设置,在map阶段的任务完成时间平均降低了约9.6%.在数据局部性方面,具有node局部性的map任务数量增加了6.1%,而具有rack和rack-off局部性的map任务数量则分别减少了45.6%和56.5%. 展开更多
关键词 HADOOP 数据局部性 任务完成时间 访问计数预测 数据复制 副本
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部