期刊导航
期刊开放获取
唐山市科学技术情报研究..
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
利用快速无偏分层图抽样算法的MapReduce负载平衡方法
被引量:
2
1
作者
杜鹃
张卓
曹建春
《计算机应用与软件》
北大核心
2021年第11期288-294,313,共8页
提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽...
提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的负载平衡性能,其运行效率也没有因为新采样算法的采用而受到影响。
展开更多
关键词
大数据
数据倾斜
负载平衡
无偏分层图抽样
MapReduce平台
Hash连接算法
NS
抽样
聚类
在线阅读
下载PDF
职称材料
题名
利用快速无偏分层图抽样算法的MapReduce负载平衡方法
被引量:
2
1
作者
杜鹃
张卓
曹建春
机构
黄河水利职业技术学院
郑州大学
出处
《计算机应用与软件》
北大核心
2021年第11期288-294,313,共8页
基金
河南省科技攻关计划项目(192102210102)。
文摘
提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的负载平衡性能,其运行效率也没有因为新采样算法的采用而受到影响。
关键词
大数据
数据倾斜
负载平衡
无偏分层图抽样
MapReduce平台
Hash连接算法
NS
抽样
聚类
Keywords
Big data
Data skew
Load balancing
Unbiased layered graph sampling
MapReduce platform
Hash join algorithm
NS sampling clustering
分类号
TP311 [自动化与计算机技术—计算机软件与理论]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
利用快速无偏分层图抽样算法的MapReduce负载平衡方法
杜鹃
张卓
曹建春
《计算机应用与软件》
北大核心
2021
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部