期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到68篇文章
< 1 2 … 4 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
Hadoop框架下海量影像数据库管理系统的研究与实现 被引量：10
1
作者 刘云峰 李发红 曹广强 《测绘通报》 CSCD 北大核心 2016年第12期74-76,89,共4页
针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型(RSC-DOM),利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管... 针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型(RSC-DOM),利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。 展开更多
关键词 hadoop框架 镶嵌数据集 影像数据库
在线阅读 下载PDF
Hadoop框架核心技术在高校大数据教学系统中的应用分析 被引量：1
2
作者 孙荣明 《电脑知识与技术》 2018年第9期129-130,共2页
在大数据时代,数据集或数据处理能力是市场与企业对人才的一大关键要求。在高校大数据专业教学中,数据的安全与运算能力开始备受重视。而大数据教学系统的有序运转经常受各种因素影响,尤其是硬件故障与不足等。但是,Ha-doop框架核心技... 在大数据时代,数据集或数据处理能力是市场与企业对人才的一大关键要求。在高校大数据专业教学中,数据的安全与运算能力开始备受重视。而大数据教学系统的有序运转经常受各种因素影响,尤其是硬件故障与不足等。但是,Ha-doop框架核心技术具有其自身的独特优势,即可靠性、拓展性、容错性、有效性都非常高,主要是通过大型的分布式集群,建立并布置数据储存与分析系统,这是最佳的数据解决方案,能够实现高效管理。本文主要对Hadoop框架核心技术在高校大数据教学系统中的应用进行了深入探究。 展开更多
关键词 hadoop框架核心技术 高校 大数据教学系统 应用
在线阅读 下载PDF
面向大数据挖掘的Hadoop框架K均值聚类算法 被引量：22
3
作者 李爽 陈瑞瑞 林楠 《计算机工程与设计》 北大核心 2018年第12期3734-3738,共5页
为提高大数据聚类效率,提出一种基于Hadoop框架的K均值聚类算法。采用Hadoop框架所用的MapReduce模型,将大数据划分成许多数据块。在Map阶段提出权重K均值聚类算法,对每一个数据块独立聚类,得到聚类中心和权重;在Reduce阶段提出加权融合... 为提高大数据聚类效率,提出一种基于Hadoop框架的K均值聚类算法。采用Hadoop框架所用的MapReduce模型,将大数据划分成许多数据块。在Map阶段提出权重K均值聚类算法,对每一个数据块独立聚类,得到聚类中心和权重;在Reduce阶段提出加权融合K均值聚类算法,对Map阶段得到的聚类中心和权重进行融合,得到最终的聚类结果。在HIGGS数据集上进行聚类实验,实验结果表明,该算法在保持聚类准确率的前提下大幅提升了大数据聚类时K均值聚类算法的运算效率。 展开更多
关键词 数据挖掘 K均值聚类 hadoop框架 大数据 MAPREDUCE模型
在线阅读 下载PDF
Hadoop框架在电力大数据平台中的运用分析与研究 被引量：1
4
作者 刘凯 高志娥 薛艳锋 《电子技术与软件工程》 2017年第18期162-162,共1页
文章首先对Hadoop框架及其优势进行简要阐述,在此基础上对Hadoop框架在电力大数据平台中的运用进行论述。期望通过本文的研究能够对促进电力大数据平台的完善有所帮助。
关键词 hadoop框架 电力系统 大数据平台
在线阅读 下载PDF
大数据环境下基于Hadoop框架的改进Apriori挖掘算法（英文） 被引量：5
5
作者 曾毅 周湘贞 《机床与液压》 北大核心 2019年第6期98-103,共6页
针对Hadoop框架下的用户行为大数据挖掘效率问题,提出了一种改进的关联规则Apriori挖掘算法。该算法首先实现了Hadoop框架下的项集分类建模。然后通过传统关联规则Apriori算法的挖掘步骤分析,对候选项目集的生成方式进行了改进,并结合... 针对Hadoop框架下的用户行为大数据挖掘效率问题,提出了一种改进的关联规则Apriori挖掘算法。该算法首先实现了Hadoop框架下的项集分类建模。然后通过传统关联规则Apriori算法的挖掘步骤分析,对候选项目集的生成方式进行了改进,并结合标志位信息实现无用事务去除,有效压缩了事务和项目的数量,从而缩短了任务处理时间。在具体实现过程中对改进Apriori算法流程进行了Map Reduce处理。仿真实验表明:相比于传统Apriori算法,改进后的Apriori挖掘算法具有更高的执行效率。 展开更多
关键词 大数据 hadoop框架 APRIORI 项集分类 执行效率
在线阅读 下载PDF
基于Hadoop框架的海量数据运营系统研究 被引量：5
6
作者 陈彬 《自动化技术与应用》 2020年第3期178-181,共4页
本文基于Hadoop框架设计了海量数据运营系统。首先简要介绍Hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户... 本文基于Hadoop框架设计了海量数据运营系统。首先简要介绍Hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户,实时更新动态数据,且可通过大数据思维充分挖掘企业数据资产价值,为企业作出正确决策奠定坚实基础,以此推动企业实现长远健康发展。 展开更多
关键词 hadoop框架 海量数据 数据运营
在线阅读 下载PDF
大数据环境下基于Hadoop框架的数据挖掘算法的研究与实现 被引量：4
7
作者 周佩 朱娴睿 +1 位作者 何汉 张毅 《电脑知识与技术（过刊）》 2017年第10X期222-223,232,共3页
随着当前科学技术的发展,我国各行业的发展进入了大数据时代,这就为数据挖掘算法创造了条件。在大数据环境下,为了使数据挖掘的速度得以提高,本次研究主要对基于Hadoop框架的数据挖掘算法进行研究,得出由Pre Post算法改进的挖掘算法MRPr... 随着当前科学技术的发展,我国各行业的发展进入了大数据时代,这就为数据挖掘算法创造了条件。在大数据环境下,为了使数据挖掘的速度得以提高,本次研究主要对基于Hadoop框架的数据挖掘算法进行研究,得出由Pre Post算法改进的挖掘算法MRPre Post,这种挖掘算法是以Hadoop为平台,使编程难度得到降低,并且容易管理,通过深度优化使内存的开销得到降低,通过负载均衡的方法进行分组以使并行算法的重要性能得到提高,从而使这种算法提升运行速度,适应大数据环境下的数据挖掘。 展开更多
关键词 大数据环境 hadoop框架 数据挖掘算法 研究
在线阅读 下载PDF
基于改进Hadoop挖掘框架的电力通信异常数据提取研究
8
作者 姚宬丞 蒋何 《通信电源技术》 2024年第20期44-46,共3页
电力通信系统异常数据往往隐藏在海量数据当中,导致Hadoop挖掘框架在异常数据提取中的覆盖度较低。因此,提出基于改进Hadoop挖掘框架的电力通信异常数据提取研究。通过预处理策略如标准化、滤波及复数信号归一化提高数据质量。引入本地... 电力通信系统异常数据往往隐藏在海量数据当中,导致Hadoop挖掘框架在异常数据提取中的覆盖度较低。因此,提出基于改进Hadoop挖掘框架的电力通信异常数据提取研究。通过预处理策略如标准化、滤波及复数信号归一化提高数据质量。引入本地数据聚合优化组件优化数据传输,采用多NameNode Hadoop架构解决单节点瓶颈问题,并结合K-Means聚类算法进行数据挖掘。通过特征评估与筛选和并行聚类分析,有效识别出关键的异常数据特征。实验结果显示,该方法能显著提高异常数据的提取覆盖度。 展开更多
关键词 改进hadoop挖掘框架 电力通信系统 异常数据 特征提取 聚类分析
在线阅读 下载PDF
以Hadoop为核心的海量数据全流程处理框架解析 被引量：1
9
作者 杨李娜 《数字通信世界》 2015年第10期18-20,共3页
本文首先对大数据的优势和应用进行了介绍,然后分析了Hadoop的核心技术架构,最后对通信系统流处理中Hadoop框架的应用进行了剖析。
关键词 大数据 核心技术架构 hadoop框架 流
在线阅读 下载PDF
Hadoop分布式框架下石油行业非结构化数据管理实现策略探究 被引量：4
10
作者 孙晓萍 《中国管理信息化》 2020年第7期63-64,共2页
当前,社会已经步入了大数据时代,互联网技术的应用非常广泛。随着数据技术的快速进步,数据的产生速度也在以指数级增长。传统的油田开发作业中,对数据的记录方式以关系型数据库技术为主要的数据记录和更新方式。但随着信息技术的发展,... 当前,社会已经步入了大数据时代,互联网技术的应用非常广泛。随着数据技术的快速进步,数据的产生速度也在以指数级增长。传统的油田开发作业中,对数据的记录方式以关系型数据库技术为主要的数据记录和更新方式。但随着信息技术的发展,新数据中出现了非结构化数据,这些数据的格式不确定,记录起来非常困难。文章以非结构化数据为研究对象,针对油田开发过程中面临的数据记录问题,提出可以有效储存和记录非结构化数据的Hadoop分布式框架模式,从而解决油田开发过程中遇到的数据记录和更新的难题。 展开更多
关键词 hadoop分布式框架 非结构化数据 数据管理
在线阅读 下载PDF
大数据环境下最小单调约束闭包Hadoop并行关联规则 被引量：2
11
作者 李春青 李海生 +1 位作者 梁婷婷 赵凯 《中国科技论文》 CAS 北大核心 2015年第20期2356-2361,共6页
针对传统关联规则算法存在较大规则冗余问题,提出基于最小单调约束闭包Hadoop并行化关联规则。首先,基于闭包算子约束规则等价关系集,给出了满足最小单调约束规则集,可有效地将约束规则集划分为不相交的等价规则类,降低冗余规则比率;其... 针对传统关联规则算法存在较大规则冗余问题,提出基于最小单调约束闭包Hadoop并行化关联规则。首先,基于闭包算子约束规则等价关系集,给出了满足最小单调约束规则集,可有效地将约束规则集划分为不相交的等价规则类,降低冗余规则比率;其次针对大数据问题,采用Hadoop框架下Mapreduce并行计算模型,实现最小单调约束闭包关联规则的并行化计算,有效地提升算法对于大数据处理的可拓展性;最后通过在标准测试集上的实验对比,显示了所提算法的有效性。 展开更多
关键词 大数据 闭包算子 最小单调约束 hadoop框架 关联规则 Mapreduce并行计算
在线阅读 下载PDF
基于Hadoop的微阵列数据两阶段并行K近邻基因提取 被引量：1
12
作者 齐向明 郑帅 魏萍 《计算机工程》 CAS CSCD 北大核心 2016年第5期54-59,共6页
基因信息选取工作中由于数据量庞大,传统单线程运行的分类查询方法无法满足实时性与提取精度要求。为此,利用Hadoop框架设计两阶段并行计算模型。其中第1阶段用于候选基因子集并行选取,第2阶段用于并行K近邻基因信息选取,从而实现并行... 基因信息选取工作中由于数据量庞大,传统单线程运行的分类查询方法无法满足实时性与提取精度要求。为此,利用Hadoop框架设计两阶段并行计算模型。其中第1阶段用于候选基因子集并行选取,第2阶段用于并行K近邻基因信息选取,从而实现并行计算的全过程覆盖。为降低算法的计算复杂度,针对基因信息微阵列数据,定义数据筛选指标对其进行采样,在降低数据处理量的同时消除数据冗余。实验结果表明,该算法具有较高的运行效率,并且继承了Hadoop编程模型的可扩展特性,可移植性较强。 展开更多
关键词 hadoop框架 并行计算 微阵列采样 大数据 K近邻 基因信息
在线阅读 下载PDF
基于Hadoop与XMPP的云翻译系统的研究与实现 被引量：2
13
作者 余正红 伍永豪 +1 位作者 邓娟 王俊 《计算机与数字工程》 2014年第2期239-242,260,共5页
针对传统机器翻译系统准确性差、人工翻译成本高等缺陷,提出了一种基于Hadoop云计算框架与XMPP协议的云翻译系统解决方案,结合传统翻译技术和Hadoop云计算框架,利用XMPP在异构系统之间的互通,建立用户、译员和对象的三方互助云平台。该... 针对传统机器翻译系统准确性差、人工翻译成本高等缺陷,提出了一种基于Hadoop云计算框架与XMPP协议的云翻译系统解决方案,结合传统翻译技术和Hadoop云计算框架,利用XMPP在异构系统之间的互通,建立用户、译员和对象的三方互助云平台。该系统可挖掘互助沟通过程中的庞杂的语料资源,具有语料库数据量大,翻译准确、翻译效率高、智能性强等特点,解决了人工翻译成本高、机器翻译歧义性大等问题,实现了不同语种人群通过互联网进行文字即时通信时的多语无障碍沟通。 展开更多
关键词 XMPP hadoop框架 云翻译系统 机器翻译
在线阅读 下载PDF
基于Hadoop的网络日志分析系统研究 被引量：17
14
作者 胡光民 周亮 柯立新 《电脑知识与技术》 2010年第8期6163-6164,6185,共3页
查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴... 查看网络日志是调查系统故障,监控系统运行状况的重要手段。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。分布式计算技术正好可以用来解决这一难题。阐述了syslog日志收集流程,详细介绍了Hadoop分布式计算框架,设计并实现了一套基于Hadoop的网络日志分析系统。实验证明该系统是有效而实用的。 展开更多
关键词 hadoop框架 分布式 日志分析 SYSLOG
在线阅读 下载PDF
Hadoop远程过程调用机制的分析和应用 被引量：10
15
作者 王博 陈莉君 《西安邮电学院学报》 2012年第6期74-77,共4页
为了高效快速的开发和使用Hadoop远程通信功能,对Hadoop远程过程调用(Remote Procedure Call,RPC)机制进行分析,提出独立调用Hadoop RPC实现多客户端并发通信和大数据传输的机制,既继承Hadoop PRC框架,又在通信中增加数据文件传输,并采... 为了高效快速的开发和使用Hadoop远程通信功能,对Hadoop远程过程调用(Remote Procedure Call,RPC)机制进行分析,提出独立调用Hadoop RPC实现多客户端并发通信和大数据传输的机制,既继承Hadoop PRC框架,又在通信中增加数据文件传输,并采用线程池模拟多客户线程的测试方案。通过测试发现Hadoop远程过程调用在通信数据负载量和数据传输量的大致范围,测试方案和结论可用于Hadoop RPC应用的配置和开发。 展开更多
关键词 hadoop框架 远程过程调用(RPC) 分布式存储 分布式计算 并发
在线阅读 下载PDF
基于Hadoop的数据云存储研究与应用 被引量：2
16
作者 裴云 陈敏 邢益良 《电脑编程技巧与维护》 2015年第8期79-80,92,共3页
随着教学平台数据的爆炸式增长,传统的教学平台在海量信息处理方面带来了较大的压力,对数据的存储、检索等关键技术提出了更高要求。在研究分析云计算领域的基础上,提出了利用Hadoop云计算框架解决教学平台中海量数据存储、检索的问题,... 随着教学平台数据的爆炸式增长,传统的教学平台在海量信息处理方面带来了较大的压力,对数据的存储、检索等关键技术提出了更高要求。在研究分析云计算领域的基础上,提出了利用Hadoop云计算框架解决教学平台中海量数据存储、检索的问题,优化了平台的数据存储和检索功能,并对平台做了系统的测试和验证。 展开更多
关键词 hadoop框架 云计算 HBase数据库 HDFS系统 性能优化 架构
在线阅读 下载PDF
基于Hadoop的海量数据存储平台设计 被引量：1
17
作者 周晴红 《无线互联科技》 2022年第17期69-72,共4页
基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。H... 基于Hadoop开发的海量数据存储平台优势显著,使用者无需掌握架构底层的搭建细节,只需根据应用层的功能指引便可以开展分布式程序的开发工作。文章提出的存储平台的最底层即为HDFS系统,可用于存储Hadoop集群中所有存储节点对应的文件。HDFS上一层是MapReduce引擎,主要由Job Trackers和Task Trackers组成。基于Hadoop的海量数据存储平台能大幅度提升数据录入、查找、调用的效率。 展开更多
关键词 hadoop框架 海量数据存储平台 优先级
在线阅读 下载PDF
基于Hadoop的化合物生物活性分析系统 被引量：3
18
作者 李杰辉 张亮 +1 位作者 陈健 南蓬 《计算机工程》 CAS CSCD 2012年第13期48-50,共3页
通过药物虚拟筛选,发现在具有生物活性化合物过程中,存在小分子结构相似性比较计算繁杂等问题。为此,结合MapReduce模型,提出一种基于Hadoop的并行计算模型处理方法,并通过Hadoop工具予以实现。同时根据Hadoop分区算法不均匀、容错功能... 通过药物虚拟筛选,发现在具有生物活性化合物过程中,存在小分子结构相似性比较计算繁杂等问题。为此,结合MapReduce模型,提出一种基于Hadoop的并行计算模型处理方法,并通过Hadoop工具予以实现。同时根据Hadoop分区算法不均匀、容错功能存在重复计算等问题对该方法进行改进。实验结果表明,该方法平均加速效率达到0.91,具有较好的可靠性和扩展性。 展开更多
关键词 生物活性 生物信息学 并行计算 可扩展性 数据库 hadoop框架
在线阅读 下载PDF
Hadoop平台下的并行Web日志挖掘算法 被引量：6
19
作者 周诗慧 殷建 《计算机工程》 CAS CSCD 2013年第6期43-46,共4页
当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈。针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件。实验结果表明,该算... 当面对海量数据时,基于单一节点的Web数据挖掘存在时间和空间效率上的瓶颈。针对该问题,提出一种在Hadoop平台下实现Web日志挖掘的并行FP-growth算法,利用Hadoop分布式文件系统和MapReduce并行计算模型处理日志文件。实验结果表明,该算法的加速比能随着数据集的增大而提高,其执行效率优于串行FP-growth算法。 展开更多
关键词 hadoop框架 WEB挖掘 WEB日志 MapReduce编程模式 hadoop分布式文件系统 并行FP-growth算法
在线阅读 下载PDF
依托Hadoop架构的海量变压器实时监测与存储方案构建 被引量：16
20
作者 韦彪 刘天琪 苏学能 《电测与仪表》 北大核心 2020年第10期6-12,75,共8页
随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于Hadoop集群的变压器在线监测数据存储... 随着智能电网的建设以及电力变压器在线监测技术的成熟,电力变压器在线监测数据呈现出体量大、类型多等特点。使用传统存储技术存储变压器在线监测数据,已不能满足实时、快速的需求。为此,设计基于Hadoop集群的变压器在线监测数据存储方案。该方案利用HBase(分布式列式数据库)具有快速实时读写数据的优势,将变压器在线监测系统采集的海量数据实时快速地存储。为能自动快速实时收集数据和避免因数据流过大造成系统崩溃,分别采用Flume(日志收集工具)和Kafka(分布式流处理平台)收集和缓存数据。以电力变压器在线监测的油色谱数据为例,验证了所提存储方案的可行性和有效性。 展开更多
关键词 智能电网 在线监测 变压器 hadoop框架 HBASE
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 4 下一页 到第 页
使用帮助 返回顶部