基于列存储的MapReduce并行连接算法 被引量：5

1

作者 张滨 乐嘉锦 《计算机工程》 CAS CSCD 2014年第8期70-75,85,共7页

针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduc... 针对传统关系型数据库在对大数据进行操作时,系统性能严重下降、计算效率提升有限以及可扩展性差等问题,引入MapReduce并行计算模型,提出一种大数据上基于列存储的MapReduce并行连接算法。设计面向大数据的分布式计算模型,包括MapReduce分布式环境下的列存储文件格式MCF,采用协同定位策略实现对分布式存储的优化。使用分片聚集和子连接启发式优化方法,实现大数据在MapReduce分布式环境下并行连接算法。实验结果证明,在大数据分析处理中,该算法在执行时间和负载能力上有着较好的优化性能,同时具有良好的可扩展性。 展开更多

关键词 大数据 列存储 MAPREDUCE模型 MCF存储格式 并行连接 启发式优化方法

在线阅读 下载PDF 职称材料

SN和SM体系结构下的各种并行连接算法和并行聚合算法的比较与分析

2

作者 方强 王国仁 +1 位作者 于戈 郑怀远 《计算机科学》 CSCD 北大核心 1998年第6期103-107,102,共6页

引言随着数据库应用技术的发展,出现了许多先进的数据库应用系统,如计算机集成制造系统、全球观测信息系统、电子商务信息系统等。它们要求数据库系统既能够处理大量的数据又具有快速的响应能力,因此人们对并行数据库系统进行了许多深... 引言随着数据库应用技术的发展,出现了许多先进的数据库应用系统,如计算机集成制造系统、全球观测信息系统、电子商务信息系统等。它们要求数据库系统既能够处理大量的数据又具有快速的响应能力,因此人们对并行数据库系统进行了许多深入的研究工作。研究工作涉及到许多方面。 展开更多

关键词 并行连接 并行聚合 算法 SN SM 体系结构

在线阅读 下载PDF 职称材料

抗数据偏斜的高效并行连接运算算法研究

3

作者 王于同 张立宇 毕伟文 《计算机应用与软件》 CSCD 北大核心 2001年第5期58-62,共5页

本文提出了一种能克服各种数据偏斜、高效的、并行二元连接运算算法,可在不同的数据偏斜情况下启动不同的模块,克服数据偏斜造成的负载不平衡现象。

关键词 并行连接运算算法 硬件结构 并行数据库 数据偏斜

在线阅读 下载PDF 职称材料

有选择条件的并行连接改进算法

4

作者 卢炎生 邹军华 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2003年第5期20-21,36,共3页

针对有选择条件的连接易于造成选择率偏斜和重分布偏斜的问题 ,通过在各个处理结点中的A D(At tribute Distribute)临时关系以及主控结点中的A RD(Attribute Redistribute)临时关系 ,提出了并行连接改进算法 ,并且从理论上对该算法的空... 针对有选择条件的连接易于造成选择率偏斜和重分布偏斜的问题 ,通过在各个处理结点中的A D(At tribute Distribute)临时关系以及主控结点中的A RD(Attribute Redistribute)临时关系 ,提出了并行连接改进算法 ,并且从理论上对该算法的空间复杂度进行了分析 . 展开更多

关键词 并行数据库 数据偏斜 并行连接算法

在线阅读 下载PDF 职称材料

高效负载平衡的并行连接运算算法研究

5

作者 王于同 张立宇 毕伟文 《杭州电子科技大学学报（自然科学版）》 1999年第4期1-5,共5页

本文分析了并行数据库中各结点的负载平衡问题，提出了一个高效且保持负载平衡的并行连接运算算法，并进行了模拟实验。

关键词 并行连接运算 负载平衡 算法

在线阅读 下载PDF 职称材料

基于分布式系统OceanBase的并行连接 被引量：3

6

作者 徐石磊 王雷 +2 位作者 胡卉芪 钱卫宁 周傲英 《华东师范大学学报（自然科学版）》 CAS CSCD 北大核心 2017年第5期1-10,共10页

随着应用数据的飞速增长以及分布式数据库系统的不断涌现,数据存储在物理独立的节点已经成为一种趋势.在这种情况下,当应用需要进行复杂join查询时,就会不可避免地产生非常多的网络传输代价.所以,如何提高分布式系统中join查询的效率成... 随着应用数据的飞速增长以及分布式数据库系统的不断涌现,数据存储在物理独立的节点已经成为一种趋势.在这种情况下,当应用需要进行复杂join查询时,就会不可避免地产生非常多的网络传输代价.所以,如何提高分布式系统中join查询的效率成为研究热点.本文在分析分布式数据库系统OceanBase执行nested loop join、Hash join、semi-join等算法的基础上,提出了合理利用硬件资源采用多线程并行执行join操作的优化思想,并在OceanBase数据库中分别对nested loop join、Hash join、semi-join等算法进行了并行改造.实验结果表明,在一定线程数内join算法执行效率与并行度呈正相关. 展开更多

关键词 查询 SEMI-JOIN OceanBase 并行连接

在线阅读 下载PDF 职称材料

功率IGBT的并行连接

7

作者 Arendt Wintrich 《电焊机》 2006年第10期25-25,共1页

在需要对大电流或大输出功率加以控制的电路中，常常采用并行连接。晶体管模块发明至今的近20年里，赛米控一直专注于研究面向大功率应用的并行电路方案。目前比较成熟的方案有两种，属于不同层次，分别是模块内的芯片级并行连接和变频... 在需要对大电流或大输出功率加以控制的电路中，常常采用并行连接。晶体管模块发明至今的近20年里，赛米控一直专注于研究面向大功率应用的并行电路方案。目前比较成熟的方案有两种，属于不同层次，分别是模块内的芯片级并行连接和变频器一相中的模块级并行连接。 展开更多

关键词 并行连接 功率IGBT 晶体管模块 输出功率 行电路 大电流 大功率 模块级

在线阅读 下载PDF 职称材料

采用电荷泵的驱动器可驱动高达6个并行连接的发光二极管 确保显示器的背光均匀

8

《现代电子技术》 2006年第8期I0006-I0006,共1页

全球电源管理技术的领导者美国国家半导体公司（National Semiconductor Corporation）宣布推出三款无需加设电感器的全新白光发光二极管驱动器。这几款驱动器最适用于移动电话、个人数字助理、便携式电子游戏机及MP3媒体播放器，

关键词 二极管驱动器 发光二极管 Semiconductor 并行连接 电荷泵 显示器 美国国家半导体公司 均匀 背光 电源管理技术

在线阅读 下载PDF 职称材料

光并行连接的PD阵列组件

9

作者 高晓萍 《光机电信息》 1995年第1期36-36,共1页

日本富士通研究所，研制出小型PD阵列组件，该组件装在对实现装置间光互连起重要作用的光并行连接组件上．该器件的成功之处在于(1)开发带有新型微透镜的背面入射型平面pin光电二极管阵列，并引入到光敏器件里；(2)

关键词 光 并行连接 PD阵列组件 光敏器件 光电二极管

在线阅读 下载PDF 职称材料

光并行连接用的LD阵列组件

10

作者 高晓萍 金轸裕 《光机电信息》 1995年第3期33-33,共1页

日本富士通研究所研制出可简单连接半导体激光(LD)阵列和光纤阵列的LD阵列组件。

关键词 半导体激光阵列 光纤阵列 LD阵列组件 光并行连接

在线阅读 下载PDF 职称材料

基于并行卷积和双重注意力机制的说话人识别

11

作者 陶佳佳 赵永钢 +2 位作者 华杭波 孔明 梁晓瑜 《微电子学与计算机》 2025年第1期1-8,共8页

为解决说话人识别面对多种场景造成性能变差的问题,提出了一种基于并行卷积和双重注意力机制的识别方法。该方法基于ECAPA-TDNN模型结构,对网络组件和损失函数计算模块进行了改进。首先,残差模块的改进是引入“分组”的思想,通过在残差... 为解决说话人识别面对多种场景造成性能变差的问题,提出了一种基于并行卷积和双重注意力机制的识别方法。该方法基于ECAPA-TDNN模型结构,对网络组件和损失函数计算模块进行了改进。首先,残差模块的改进是引入“分组”的思想,通过在残差块构建多分支并行连接,获取多层次特征。其次,注意力模块的改进是利用通道注意力和空间注意力两种机制,对特征的不同位置进行注意力加权,便于模型自适应地选择和强调特征,捕获全局特征和局部关键信息。然后,使用Sub-center loss函数计算损失,应对多变化特征。最后,在大型的中文多场景数据集CN-Celeb上评估模型的有效性并选取数据集的六种单一场景测试说话人识别系统。实验结果表明:与ResNet34模型和ECAPA-TDNN模型相比,EER分别降低了6.03%和5.57%,minDCF分别降低了7.31%和7.02%;6种单一场景测试结果的均值低于测试集结果,且在“drama”和“speech”场景下表现优异,EER最低仅有4.48%,minDCF最低为0.2322。说明该方法具有强大的优越性和适应性,能够针对不同场景进行有效识别,从而提高说话人识别准确率和鲁棒性。 展开更多

关键词 说话人识别 并行连接 注意力机制 多场景数据集

在线阅读 下载PDF 职称材料

基于Shared-Nothing的并行Hash连接算法效率分析 被引量：3

12

作者 李庆华 睢海燕 邓冲 《软件学报》 EI CSCD 北大核心 2000年第3期386-392,共7页

该文研究了基于 Shared- Nothing结构的几种常用并行连接算法 ,分析了影响查询响应时间的各种因素 .在此基础上 ,以多种硬件成分作为参数建立一个代价分析模型 .使用该模型计算并行 Hash算法在每个处理机上的平均任务执行时间和总的查... 该文研究了基于 Shared- Nothing结构的几种常用并行连接算法 ,分析了影响查询响应时间的各种因素 .在此基础上 ,以多种硬件成分作为参数建立一个代价分析模型 .使用该模型计算并行 Hash算法在每个处理机上的平均任务执行时间和总的查询响应时间 ,并比较了几种算法在不同硬件配置下的执行效率 .所提出的模型和分析方法为评价和选取并行连接算法提供了一种可行的途径 . 展开更多

关键词 并行连接算法 HASH算法 数据库 并行查询

在线阅读 下载PDF 职称材料

基于DSVM和消息传递的并行哈希连接算法的性能分析 被引量：1

13

作者 方强 王国仁 +1 位作者 叶峰 于戈 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 1999年第6期583-586,共4页

基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径，它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上，用Ｄ... 基于分布式共享虚拟存储器（ＤＳＶＭ） 的软件设计方法是运行在网络工作站（ＮＯＷ） 上的支持并行计算与分布处理的新途径，它与传统的消息传递的编程方法不同·描述了在面向对象的分布式数据库系统ＳｈｕｓｓｅＵｏ 上，用ＤＳＶＭ 和消息传递两种方式分别实现并行哈希连接操作的３种算法；设计了测试数据库和３ 种不同的负载；并分析了ＤＳＶＭ 和消息传递这两种设计方法的性能·大量的测试结果表明，基于ＤＳＶＭ 的算法的性能比传统的消息传递的算法稍差，但ＤＳＶＭ 具有易编程等优点，因此在并行处理上仍是一项很有研究和开发价值的技术· 展开更多

关键词 哈希连接算法 并行连接算法 DSVM 消息传递

在线阅读 下载PDF 职称材料

并行数据库系统PAROⅡ连接算法

14

作者 许向阳 高东升 张勇 《华中科技大学学报（自然科学版）》 EI CAS CSCD 北大核心 2002年第2期99-101,共3页

提出了并行数据库系统的哈希轮转 (Hash Round Robin)数据划分方法以及基于该划分方法的并行记录分布Bn 树 ,给出了基于该树的并行连接算法 ,分析了该算法的效率 .这种连接算法充分利用了数据的已有分布及Bn 树的特性 ,还利用了哈希轮... 提出了并行数据库系统的哈希轮转 (Hash Round Robin)数据划分方法以及基于该划分方法的并行记录分布Bn 树 ,给出了基于该树的并行连接算法 ,分析了该算法的效率 .这种连接算法充分利用了数据的已有分布及Bn 树的特性 ,还利用了哈希轮转划分的特性 ,提高了并行连接的效率 。 展开更多

关键词 并行数据库系统 哈希轮转数据划分 并行记录分布B^n树 并行连接算法 PAROⅡ连接算法

在线阅读 下载PDF 职称材料

并行数据库系统PAROII连接算法

15

作者 谢坤武 高东升 《湖北民族学院学报（自然科学版）》 CAS 2002年第3期23-26,共4页

介绍PAROII采用的哈希轮转 (Hash -Round -Robin)数据划分方法以及基于该划分方法的并行RDBn树 ,着重、详细地讨论了基于该树的并行连接算法 ,该算法充分利用了数据的已有分布、Bn 树的特性、叶结合点有序连接、哈希轮转划分的特性 ,这... 介绍PAROII采用的哈希轮转 (Hash -Round -Robin)数据划分方法以及基于该划分方法的并行RDBn树 ,着重、详细地讨论了基于该树的并行连接算法 ,该算法充分利用了数据的已有分布、Bn 树的特性、叶结合点有序连接、哈希轮转划分的特性 ,这些特性减少了系统的额外消耗 。 展开更多

关键词 并行数据库系统 PAROⅡ 并行连接算法 哈希轮转数据划分 并行RDB^n树 Jonin算法

在线阅读 下载PDF 职称材料

基于残差连接的并行网络去噪 被引量：1

16

作者 颜戚冰 周先春 +2 位作者 昝明远 王博文 张杰 《计算机与数字工程》 2023年第9期2103-2108,共6页

针对大部分的深度卷积神经网络存在着层次难以达到很深以及神经网络的深层次性能退化问题,论文基于前馈去噪卷积神经网络的模型,提出一种结合批量重整化去噪网络中的并行网络。新方法是将原有的网络层一分为二,通过增加网络的宽度而不... 针对大部分的深度卷积神经网络存在着层次难以达到很深以及神经网络的深层次性能退化问题,论文基于前馈去噪卷积神经网络的模型,提出一种结合批量重整化去噪网络中的并行网络。新方法是将原有的网络层一分为二,通过增加网络的宽度而不是深度深层结构达到获取更多特征的目的。再使用残差学习和批量归一化的方法,以改善去噪质量,并且加速训练。结果表明,相比于当前比较成熟的去噪算法,论文提出的残差连接的并行网络去噪新算法的去噪效果更为突出,去噪耗时也大大降低。 展开更多

关键词 图像去噪 深度学习 卷积神经网络 残差学习 并行连接

在线阅读 下载PDF 职称材料

提高数据仓库中查询性能的一种并行多表连接算法 被引量：6

17

作者 赵培英 李庆忠 王海洋 《计算机工程》 CAS CSCD 北大核心 2002年第10期114-116,190,共4页

星型模式是当前数据仓库设计中广泛采用的逻辑模式。针对星型模式数据仓库中潜在的查询性能问题，结合数据仓库中的ORV，利用面向对象中的消息机制，提出了基于对象关系视图（ORV）的多表连接并行查询算法，并对算法的磁盘I/O操作次数... 星型模式是当前数据仓库设计中广泛采用的逻辑模式。针对星型模式数据仓库中潜在的查询性能问题，结合数据仓库中的ORV，利用面向对象中的消息机制，提出了基于对象关系视图（ORV）的多表连接并行查询算法，并对算法的磁盘I/O操作次数、算法的时间复杂度进行了分析。 展开更多

关键词 数据仓库 查询性能 并行多表连接算法 星型模式 事实表 维表 对象关系视图 组件对象 数据库

在线阅读 下载PDF 职称材料

开源关系数据库集群的并行空间连接算法实现 被引量：3

18

作者 范协裕 任应超 《计算机系统应用》 2016年第10期233-239,共7页

当前对并行空间连接查询的研究主要集中在算法设计上,缺少在并行关系数据库管理系统上的应用实现研究.通过分析并行空间连接算法流程,利用开源并行关系数据库集群项目PL/Proxy,提出了混合式计算迁移模式并扩展了对空间操作的支持,并在... 当前对并行空间连接查询的研究主要集中在算法设计上,缺少在并行关系数据库管理系统上的应用实现研究.通过分析并行空间连接算法流程,利用开源并行关系数据库集群项目PL/Proxy,提出了混合式计算迁移模式并扩展了对空间操作的支持,并在其上实现了可扩展的基于空间划分的并行空间连接算法.通过真实数据的实验表明:设计实现的并行空间连接算法在空间数据划分负载均衡的情况下,可实现近线性的加速比;而在空间划分产生数据倾斜严重的情况下,仍具有一定的加速比,同时具备针对空间划分方案改进的可扩展能力.算法的实现方式为进行并行空间数据管理研究提供了一种可行的解决方案. 展开更多

关键词 空间数据划分 并行空间连接查询 计算迁移 并行关系数据库

在线阅读 下载PDF 职称材料

抗偏斜的并行二元连接算法研究

19

作者 张鹏宇 睢海燕 李庆华 《华中理工大学学报》 CSCD 北大核心 1999年第4期34-36,共3页

在分析了数据偏斜特点的基础上，提出了一种抗静态和动态数据偏斜的ＨｙｂｒｉｄＳｋｅｗ算法以及代价分析模型．应用本模型对ＨｙｂｒｉｄＳｋｅｗ算法进行分析，结果表明，本算法在网络传输率和磁盘传输率较低的系统和半连接选择率较... 在分析了数据偏斜特点的基础上，提出了一种抗静态和动态数据偏斜的ＨｙｂｒｉｄＳｋｅｗ算法以及代价分析模型．应用本模型对ＨｙｂｒｉｄＳｋｅｗ算法进行分析，结果表明，本算法在网络传输率和磁盘传输率较低的系统和半连接选择率较小、有偏斜的情况下。 展开更多

关键词 并行查询 并行二元连接 数据偏斜 数据库

在线阅读 下载PDF 职称材料

基于直方图的并行结构连接算法

20

作者 李建新 王国仁 +3 位作者 汤南 王斌 于亚新 张海宁 《计算机研究与发展》 EI CSCD 北大核心 2004年第10期1768-1773,共6页

连接操作是最昂贵且常用的数据库操作 在传统数据库系统中 ,主要的连接操作是等值连接操作 ,因此 ,传统的并行连接算法主要集中于并行等值连接操作 另外 ,随着XML在Web应用中变得越来越重要 ,XML已经成为Internet上一种新的数据交换标... 连接操作是最昂贵且常用的数据库操作 在传统数据库系统中 ,主要的连接操作是等值连接操作 ,因此 ,传统的并行连接算法主要集中于并行等值连接操作 另外 ,随着XML在Web应用中变得越来越重要 ,XML已经成为Internet上一种新的数据交换标准 对XML数据的连接操作不同于传统数据库中的等值连接操作 ,它属于结构连接操作 以前适合等值连接操作的并行连接算法并不能有效地解决结构连接问题 因此 ,第 1次提出了并行结构连接问题 ,并且通过应用直方图的思想于并行连接中 ,从而提出两种基本的并行XML结构连接算法、等高直方图连接算法和等宽直方图连接算法 展开更多

关键词 并行结构连接 XML 直方图

在线阅读 下载PDF 职称材料