期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
利用快速无偏分层图抽样算法的MapReduce负载平衡方法 被引量:2
1
作者 杜鹃 张卓 曹建春 《计算机应用与软件》 北大核心 2021年第11期288-294,313,共8页
提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽... 提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的负载平衡性能,其运行效率也没有因为新采样算法的采用而受到影响。 展开更多
关键词 大数据 数据倾斜 负载平衡 无偏分层图抽样 MapReduce平台 Hash连接算法 NS抽样聚类
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部