CPU和DRAM加速任务划分方法:大数据处理中Hash Joins的加速实例 被引量：3

1

作者 吴林阳 罗蓉 +1 位作者 郭雪婷 郭崎 《计算机研究与发展》 EI CSCD 北大核心 2018年第2期289-304,共16页

硬件加速器能够有效地提高当前计算机系统的能效.然而,传统的硬件加速器(如GPU,FPGA和定制的加速器)和内存是相互分离的,加速器和内存之间的数据移动难以避免,这使得如何降低加速器和内存之间数据移动的开销成为极具挑战性的问题.随着... 硬件加速器能够有效地提高当前计算机系统的能效.然而,传统的硬件加速器(如GPU,FPGA和定制的加速器)和内存是相互分离的,加速器和内存之间的数据移动难以避免,这使得如何降低加速器和内存之间数据移动的开销成为极具挑战性的问题.随着靠近数据的处理技术(near-dataprocessing)和3D堆叠DRAM的出现,我们能够将硬件加速器集成到3D堆叠DRAM中,使得数据移动的开销大大降低.然而,由于3D堆叠DRAM对面积、功耗和散热具有严格的限制,所以不可能将一个功能复杂的硬件加速器完整地集成到DRAM中.因此,在设计内存端的硬件加速器时,应该考虑将加速任务在CPU和加速器之间合理地进行划分.以加速大数据系统中的一个关键操作hash joins为例子,阐述了CPU和内存端加速任务划分的设计思想.以减少数据移动为出发点,设计了一个包含内存端定制加速器和处理器端SIMD加速单元的混合加速系统,并对应用进行分析,将加速任务划分到不同的加速器.其中,内存端的加速器用于加速数据移动受限的执行阶段,而处理器端SIMD加速单元则用于加速数据移动开销较低成本的执行阶段.实验结果表明:与英特尔的Haswell处理器和Xeon Phi相比,设计的混合加速系统的能效分别提升了47.52倍和19.81倍.此外,提出的以数据移动为驱动的方法很容易扩展于指导其他应用的加速设计. 展开更多

关键词 3D堆叠内存 加速器 大数据 hash joins RADIX joins算法的优化版本 hash分区加速器

在线阅读 下载PDF 职称材料

并行数据库中JOIN运算的并行算法 被引量：2

2

作者 黄明和 钟萃相 《计算机工程与科学》 CSCD 2006年第2期90-92,共3页

JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,... JOIN运算的并行算法一直是并行数据库领域中研究的热点问题,先后出现了一系列并行JOIN算法或改进算法,但它们都存在着通信效率较低、负载调度频繁等问题。本文针对这些问题,在分析比较前人工作的基础上对SABJ+算法与ABJ+算法加以改进,得到了效率更高的并行JOIN算法ABJ++。 展开更多

关键词 串行join算法 并行join算法 并行hash join算法 分桶

在线阅读 下载PDF 职称材料

基于DSVM的并行Hash连接算法及其性能评价

3

作者 王国仁 于戈 +1 位作者 叶峰 郑怀远 《计算机学报》 EI CSCD 北大核心 1999年第10期1032-1041,共10页

提出了一个基于分布式共享虚拟存储器技术（ＤＳＶＭ）的并行Ｈａｓｈ 连接算法，然后设计了一个并行连接算法的测试评价基准，并评价和分析了该算法在均匀数据分布情况下３ 种不同负载的性能比较和Ｚｉｐｆ倾斜数据分布情况下两种调度... 提出了一个基于分布式共享虚拟存储器技术（ＤＳＶＭ）的并行Ｈａｓｈ 连接算法，然后设计了一个并行连接算法的测试评价基准，并评价和分析了该算法在均匀数据分布情况下３ 种不同负载的性能比较和Ｚｉｐｆ倾斜数据分布情况下两种调度策略的算法性能． 展开更多

关键词 hash连接算法 DSVM 并行算法 数据库系统

在线阅读 下载PDF 职称材料

并行JOIN算法的优化子集合调整方法

4

作者 孙文隽 李建中 李金宝 《黑龙江大学自然科学学报》 CAS 1997年第3期39-46,54,共9页

子集合调整是克服数据偏斜影响的并行ＨＡＳＨ－ＪＯＩＮ算法的关键组成部分，现有的克服数据偏斜影响的ＨＡＳＨ－ＪＯＩＮ算法都没有很好地解决这个问题。作者深入地研究了子集合调整问题，提出了四种子集合调整算法。理论分析和实验... 子集合调整是克服数据偏斜影响的并行ＨＡＳＨ－ＪＯＩＮ算法的关键组成部分，现有的克服数据偏斜影响的ＨＡＳＨ－ＪＯＩＮ算法都没有很好地解决这个问题。作者深入地研究了子集合调整问题，提出了四种子集合调整算法。理论分析和实验结果都证明，这四种算法都能够很好地解决子集合调整问题，特别是启发式优化算法ＯＰ－ＡＤＪＵＳＴ在多数情况下都能给出优化解。 展开更多

关键词 数据库 子集合调整 join操作 并行join算法

在线阅读 下载PDF 职称材料

阵列众核结构上的一种多层分区Hash连接算法

5

作者 石嵩 宁永波 +1 位作者 李宏亮 郑方 《计算机科学》 CSCD 北大核心 2016年第3期18-22,共5页

连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义。阵列众核处理器是一类重要的众核处理器,具有强大的并行能力,可用来加速并行计算。基于阵列众核处理器的结构,设计和优化了一种高效的多层分区Has... 连接是数据查询处理中最耗时、使用最频繁的操作之一,对提高连接操作的速率具有重要意义。阵列众核处理器是一类重要的众核处理器,具有强大的并行能力,可用来加速并行计算。基于阵列众核处理器的结构,设计和优化了一种高效的多层分区Hash连接算法。该算法通过多层划分的策略大大降低了主存访问次数,通过分区重排方法有效消除了数据倾斜的影响,获得了很高的性能。在异构融合阵列众核处理器DFMC(Deeply-Fused Many Core)原型系统上的实验结果表明,DFMC上多层分区Hash连接算法的性能是CPU-GPU耦合结构上最快的连接算法的8.0倍,表明利用阵列众核处理器加速数据查询应用具有优势。 展开更多

关键词 阵列众核 hash连接 数据倾斜 并行算法

在线阅读 下载PDF 职称材料

抗数据偏斜的高效并行join运算算法研究

6

作者 卢姝颖 朱平 《电脑知识与技术》 2008年第11期938-939,946,共3页

通过分析ABJ＋算法和Hybrid hash join算法，并对两个算法进行了结合和改进，提出了一种能克服各种数据偏斜的并行二元连接运算算法，可在不同的数据偏斜情况下启动不同的模块，克服数据偏斜造成的负载不平衡现象。

关键词 并行连接 数据偏斜 并行数据库 ABJ+算法 HYBRID hashjoin算法

在线阅读 下载PDF 职称材料

利用快速无偏分层图抽样算法的MapReduce负载平衡方法 被引量：2

7

作者 杜鹃 张卓 曹建春 《计算机应用与软件》 北大核心 2021年第11期288-294,313,共8页

提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽... 提出一种基于快速无偏分层图抽样的MapReduce负载平衡方法。将聚类算法融合到MapReduce连接操作中,提出MapReduce并行聚类连接算法的实现方法;根据聚类结果动态调整抽样率的无偏分层图抽样算法,从而实现连接操作目标数据的准确、平衡抽样。通过合成数据集和真实数据集下的数据处理实验,与Hash连接算法及基于NS抽样的聚类算法进行对比,验证了所提出的算法方案在不同数据倾斜程度下都具有良好的负载平衡性能,其运行效率也没有因为新采样算法的采用而受到影响。 展开更多

关键词 大数据 数据倾斜 负载平衡 无偏分层图抽样 MapReduce平台 hash连接算法 NS抽样聚类

在线阅读 下载PDF 职称材料

基于DSVM和消息传递的并行哈希连接算法的性能分析 被引量：1

8

作者 方强 王国仁 +1 位作者 叶峰 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 1999年第6期583-586,共4页

基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径，它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上，用Ｄ... 基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径，它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上，用ＤＳＶＭ 和消息传递两种方式分别实现并行哈希连接操作的３种算法；设计了测试数据库和３ 种不同的负载；并分析了ＤＳＶＭ 和消息传递这两种设计方法的性能·大量的测试结果表明，基于ＤＳＶＭ 的算法的性能比传统的消息传递的算法稍差，但ＤＳＶＭ 具有易编程等优点，因此在并行处理上仍是一项很有研究和开发价值的技术· 展开更多

关键词 哈希连接算法 并行连接算法 DSVM 消息传递

在线阅读 下载PDF 职称材料

抗偏斜的并行二元连接算法研究

9

作者 张鹏宇 睢海燕 李庆华 《华中理工大学学报》 CSCD 北大核心 1999年第4期34-36,共3页

在分析了数据偏斜特点的基础上，提出了一种抗静态和动态数据偏斜的ＨｙｂｒｉｄＳｋｅｗ算法以及代价分析模型．应用本模型对ＨｙｂｒｉｄＳｋｅｗ算法进行分析，结果表明，本算法在网络传输率和磁盘传输率较低的系统和半连接选择率较... 在分析了数据偏斜特点的基础上，提出了一种抗静态和动态数据偏斜的ＨｙｂｒｉｄＳｋｅｗ算法以及代价分析模型．应用本模型对ＨｙｂｒｉｄＳｋｅｗ算法进行分析，结果表明，本算法在网络传输率和磁盘传输率较低的系统和半连接选择率较小、有偏斜的情况下。 展开更多

关键词 并行查询 并行二元连接 数据偏斜 数据库

在线阅读 下载PDF 职称材料

基于IP网络流量数据仓库的KDD实现 被引量：2

10

作者 童争雄 刘特 童瑿 《计算机工程与应用》 CSCD 北大核心 2002年第21期192-195,共4页

通过对IP网络流量数据仓库进行多表关联检索和决策树模型的数据挖掘,可以从中发现若干有用的知识和相互关联的规则,用于分析流量增长的趋势和寻找IP地址分布与流量大小之间的普遍规律。有助于资源的控制和异常情况的发现。另外,将多表... 通过对IP网络流量数据仓库进行多表关联检索和决策树模型的数据挖掘,可以从中发现若干有用的知识和相互关联的规则,用于分析流量增长的趋势和寻找IP地址分布与流量大小之间的普遍规律。有助于资源的控制和异常情况的发现。另外,将多表关联算法和决策树挖掘用于星型构架的多维数据集,可以显著地提高数据对象之间的关联性能和数据挖掘的效率。 展开更多

关键词 IP网络流量数据仓库 KDD 数据挖掘 决策树 校园网 INTERNET

在线阅读 下载PDF 职称材料

并行数据库系统PAROII连接算法

11

作者 谢坤武 高东升 《湖北民族学院学报（自然科学版）》 CAS 2002年第3期23-26,共4页

介绍PAROII采用的哈希轮转 (Hash -Round -Robin)数据划分方法以及基于该划分方法的并行RDBn树 ,着重、详细地讨论了基于该树的并行连接算法 ,该算法充分利用了数据的已有分布、Bn 树的特性、叶结合点有序连接、哈希轮转划分的特性 ,这... 介绍PAROII采用的哈希轮转 (Hash -Round -Robin)数据划分方法以及基于该划分方法的并行RDBn树 ,着重、详细地讨论了基于该树的并行连接算法 ,该算法充分利用了数据的已有分布、Bn 树的特性、叶结合点有序连接、哈希轮转划分的特性 ,这些特性减少了系统的额外消耗 。 展开更多

关键词 并行数据库系统 PAROⅡ 并行连接算法 哈希轮转数据划分 并行RDB^n树 Jonin算法

在线阅读 下载PDF 职称材料