期刊文献+
共找到4,847篇文章
< 1 2 243 >
每页显示 20 50 100
利用Hadoop云计算平台进行海量数据聚类分析 被引量:3
1
作者 刘海龙 宿宏毅 《舰船科学技术》 北大核心 2016年第14期148-150,共3页
海洋信息的飞速增长使其数据量越来越多,对数据进行合理的分类,能够有效的挖掘数据与数据之间的关系。本文首先描述传统的K-Mean聚类算法,并指出其影响因素,在此基础上进行改进,提出BRTI-KMeans算法,并将此算法与传统的K-Means算法和Can... 海洋信息的飞速增长使其数据量越来越多,对数据进行合理的分类,能够有效的挖掘数据与数据之间的关系。本文首先描述传统的K-Mean聚类算法,并指出其影响因素,在此基础上进行改进,提出BRTI-KMeans算法,并将此算法与传统的K-Means算法和Canopy-K-Means算法进行比较,以此说明本文算法在进行海量数据聚类分析方面具有优越性。 展开更多
关键词 hadoop云计算平台 聚类分析 聚类中心
在线阅读 下载PDF
基于Hadoop云计算平台的聚类K-means算法的研究与实现 被引量:2
2
作者 汪一百 《信息与电脑》 2017年第11期92-94,共3页
随着社会的发展,我国的各行各业得到了飞速的发展,尤其是在现如今信息化飞速发展的社会形势下,信息技术得以不断创新和研发,计算机数据库技术也在发展过程中被人们广泛应用于工作与生活中。在不断应用数据库技术的过程中,由于数据信息... 随着社会的发展,我国的各行各业得到了飞速的发展,尤其是在现如今信息化飞速发展的社会形势下,信息技术得以不断创新和研发,计算机数据库技术也在发展过程中被人们广泛应用于工作与生活中。在不断应用数据库技术的过程中,由于数据信息不断扩增,对聚类算法的发展提出了很大的挑战。基于此,通过对基于Hadoop云计算平台的聚类K-means算法展开深入的研究,提出优化其算法的相应的策略,从而实现大小多数据的多功能特性。 展开更多
关键词 hadoop云计算平台 聚类K-means算法 并行化
在线阅读 下载PDF
一种基于Hadoop云计算平台的聚类算法优化的研究 被引量:29
3
作者 张石磊 武装 《计算机科学》 CSCD 北大核心 2012年第S2期115-118,共4页
随着信息技术的飞速发展,需要处理的数据量急剧增长,聚类算法的研究面临着海量数据分析和处理的挑战。对K-means聚类算法的优化进行了深入的研究,提出了首先选定初始聚类中心的并行K-means聚类算法。对不同大小的数据集进行测试实验,证... 随着信息技术的飞速发展,需要处理的数据量急剧增长,聚类算法的研究面临着海量数据分析和处理的挑战。对K-means聚类算法的优化进行了深入的研究,提出了首先选定初始聚类中心的并行K-means聚类算法。对不同大小的数据集进行测试实验,证明该优化算法具有更好的时间性、正确性和稳定性,适合于海量数据的分析和处理。 展开更多
关键词 计算 hadoop平台 并行K-means MapReudce 初始化聚类中心
在线阅读 下载PDF
一种基于Hadoop云计算平台大数据聚类算法设计 被引量:6
4
作者 司福明 卜天然 《楚雄师范学院学报》 2016年第3期49-55,共7页
传统的数据挖掘技术由于受到编程模型等的约束,产生了不同瓶颈,聚类算法的研究面临着海量的大数据处理与分析的挑战,新兴计算模型Hadoop作为一种可并行处理的云计算平台得到了广泛应用。文章对传统聚类挖掘算法进行改进和优化,在Hadoop... 传统的数据挖掘技术由于受到编程模型等的约束,产生了不同瓶颈,聚类算法的研究面临着海量的大数据处理与分析的挑战,新兴计算模型Hadoop作为一种可并行处理的云计算平台得到了广泛应用。文章对传统聚类挖掘算法进行改进和优化,在Hadoop云计算平台上进行K-means算法的并行化实现,降低算法的时间复杂度,提高了计算效率。实践证明,改进的K-means算法适合大规模数据集的聚类挖掘,具有高效、准确、稳定、安全等特性,适合于海量数据的分析和处理。 展开更多
关键词 hadoop 计算平台 大数据 聚类挖掘算法 并行化
在线阅读 下载PDF
Hadoop云计算平台的参数优化算法 被引量:1
5
作者 王春梅 胡玉平 易叶青 《华中师范大学学报(自然科学版)》 CAS 北大核心 2016年第2期183-189,共7页
为提高Hadoop云计算平台的性能,该文提出了一种跨层的参数优化模型.首先分析了云计算平台的工作流程,将系统参数与流程对应,并加入基础设施即服务与平台即服务层的参数,找出对Hadoop集群效率作用显著的参数,并把这些参数值作为性能参数... 为提高Hadoop云计算平台的性能,该文提出了一种跨层的参数优化模型.首先分析了云计算平台的工作流程,将系统参数与流程对应,并加入基础设施即服务与平台即服务层的参数,找出对Hadoop集群效率作用显著的参数,并把这些参数值作为性能参数,构建成性能参数模型,再用启发式蚁群算法搜寻性能较优的可行参数,并不断修正,找出最佳参数组合,最后整合跨层的参数来提高Hadoop云计算平台的性能.实验表明,该算法可行,性能优良. 展开更多
关键词 hadoop计算 参数最优化 蚁群优化算法 虚拟机
在线阅读 下载PDF
一种基于Hadoop云计算平台大数据聚类算法设计 被引量:3
6
作者 司福明 卜天然 《通化师范学院学报》 2016年第4期9-12,65,共5页
为了提高聚类的准确度,对传统聚类挖掘算法进行分析、改进和优化,在云计算Hadoop平台上进行DBIK-means算法的并行化,降低了算法的时间复杂度,提高了计算效率.通过实验验证,结果表明DBIK-means算法具有高效、准确、稳定、安全等特性,适... 为了提高聚类的准确度,对传统聚类挖掘算法进行分析、改进和优化,在云计算Hadoop平台上进行DBIK-means算法的并行化,降低了算法的时间复杂度,提高了计算效率.通过实验验证,结果表明DBIK-means算法具有高效、准确、稳定、安全等特性,适合大规模数据集的聚类挖掘. 展开更多
关键词 hadoop 计算平台 大数据 聚类挖掘算法 并行化
在线阅读 下载PDF
基于Hadoop云计算平台的数据处理研究 被引量:1
7
作者 朱晓丽 邓惠俊 陈小虎 《科技经济市场》 2018年第7期11-12,共2页
在信息技术飞速发展的今天,如何从每天产生的海量数据中提取符合要求的数据,这就需要用到云计算技术。Hadoop作为一个分布式的开源平台无疑是最好的选择。本文重点阐述了完全分布式Hadoop平台的搭建过程。结果表明,Hadoop平台可以很好... 在信息技术飞速发展的今天,如何从每天产生的海量数据中提取符合要求的数据,这就需要用到云计算技术。Hadoop作为一个分布式的开源平台无疑是最好的选择。本文重点阐述了完全分布式Hadoop平台的搭建过程。结果表明,Hadoop平台可以很好地完成大规模数据的分布式并行处理任务。 展开更多
关键词 hadoop 计算 分布式 数据处理
在线阅读 下载PDF
基于Hadoop云计算平台的数据挖掘分析 被引量:5
8
作者 杜艳绥 《信息技术与标准化》 2013年第4期36-38,42,共4页
通过阐述Hadoop平台下的HDFS分布式文件系统数据存储及处理功能和MapReduce核心架构的数据处理模式,结合Hadoop云平台数据操作机制,探讨与分析了基于云计算平台的数据挖掘设计。
关键词 计算 数据挖掘 hadoop平台
在线阅读 下载PDF
基于Hadoop云计算平台的车牌识别
9
作者 侯向宁 刘华春 《计算机技术与发展》 2018年第8期201-204,共4页
针对单机车牌识别系统易受硬件的限制,导致其硬件升级困难,最新的优秀识别算法难以应用以及极端环境下的识别率不理想等困境,提出了基于Hadoop云计算平台的车牌识别系统。分别设计了基于HSV空间模型的颜色分割与Sobel算子相结合的车牌... 针对单机车牌识别系统易受硬件的限制,导致其硬件升级困难,最新的优秀识别算法难以应用以及极端环境下的识别率不理想等困境,提出了基于Hadoop云计算平台的车牌识别系统。分别设计了基于HSV空间模型的颜色分割与Sobel算子相结合的车牌定位算法,以及基于神经网络的字符识别算法。在研究Hadoop云计算平台架构的基础上,为了将车牌识别算法应用于Hadoop云计算平台,对MapReduce数据流及Hadoop云计算平台的系统架构进行了设计。通过搭建Hadoop云计算平台,将车牌识别算法成功应用于Hadoop云计算平台,并对基于Hadoop云计算平台的车牌识别系统进行了相关测试。实验结果表明,Hadoop云计算平台在识别海量车牌数据时,由于其良好的分布式运算特点,使车牌识别的效率和性能远胜于单机。 展开更多
关键词 hadoop 计算 车牌识别 MAPREDUCE
在线阅读 下载PDF
基于Hadoop云计算平台的算法研究
10
作者 刘芬 《中国新通信》 2017年第18期92-93,共2页
随着互联网信息时代的到来,数据呈现爆发式增长的态势,大数据时代已经悄然来临,如何借助信息时代的便利推动现有的行业发展是当前数据分析技术应当实现的目标。云计算技术的产生已经推动了数据分析技术的进步以及更新,在数据挖掘的基础... 随着互联网信息时代的到来,数据呈现爆发式增长的态势,大数据时代已经悄然来临,如何借助信息时代的便利推动现有的行业发展是当前数据分析技术应当实现的目标。云计算技术的产生已经推动了数据分析技术的进步以及更新,在数据挖掘的基础上,Hadoop云计算平台算法能够集合开发各个单处理机的节点,每个节点对自己的分配结果处理完毕以后各自汇总结果,最终整合整个处理结果,本文探讨了Hadoop云计算平台的算法,促使Hadoop云计算平台朝着更大规模的数据挖掘方向发展,为社会经济发展作出更大的贡献。 展开更多
关键词 数据分析 hadoop云计算平台 数据挖掘
在线阅读 下载PDF
基于Hadoop云计算平台的大规模图像检索方案 被引量:27
11
作者 朱为盛 王鹏 《计算机应用》 CSCD 北大核心 2014年第3期695-699,共5页
针对传统图像检索方法在处理海量图像数据时面临困扰的问题,提出了一种基于传统视觉词袋(BoVW)模型和MapReduce计算模型的大规模图像检索(MR-BoVW)方案。该方案充分利用了Hadoop云计算平台海量存储能力和强大的并行计算能力。为了更好... 针对传统图像检索方法在处理海量图像数据时面临困扰的问题,提出了一种基于传统视觉词袋(BoVW)模型和MapReduce计算模型的大规模图像检索(MR-BoVW)方案。该方案充分利用了Hadoop云计算平台海量存储能力和强大的并行计算能力。为了更好地处理图像数据,首先引入一种改进的Hadoop图像数据处理方法,在此基础上分特征向量生成、特征聚类、图片的向量表示与倒排索引构建三个阶段MapReduce化。多组实验表明,MR-BoVW方案具有优良的加速比、扩展率以及数据伸缩率,效率均大于0.62,扩展率以及数据伸缩率曲线平缓,适于大规模图像检索。 展开更多
关键词 计算 hadoop MAPREDUCE 图像检索 视觉词袋模型
在线阅读 下载PDF
基于参数优化的Hadoop云计算平台 被引量:2
12
作者 李寒 唐兴兴 《计算机系统应用》 2013年第3期21-24,共4页
传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce... 传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce应用程序取代传统的单机数据分析,并对其做出优化.实验证明,Hadoop系统架构在生产上部署、投入使用的可行性. 展开更多
关键词 计算 hadoop 数据分析 MAP REDUCE
在线阅读 下载PDF
Hadoop云计算平台在视频转码上的应用 被引量:5
13
作者 张浩 孙淑霞 《电脑与电信》 2011年第12期36-37,40,共3页
视频转码是一种计算密集型和数据密集型的工作,需要消耗大量的计算机资源,Hadoop MapReduce是一种软件模型,支持大规模数据集的分布式处理。利用已有开源视频转码软件ffmpeg建立一个基于MapReduce框架的Hadoop集群转码系统,提高视频转... 视频转码是一种计算密集型和数据密集型的工作,需要消耗大量的计算机资源,Hadoop MapReduce是一种软件模型,支持大规模数据集的分布式处理。利用已有开源视频转码软件ffmpeg建立一个基于MapReduce框架的Hadoop集群转码系统,提高视频转码的速度。 展开更多
关键词 计算 hadoop MAPREDUCE 视频转码 FFMPEG
在线阅读 下载PDF
基于Hadoop云计算平台的资源搜索系统 被引量:1
14
作者 王皎 呼明亮 《电脑知识与技术》 2014年第7期4463-4465,4480,共4页
针对当前用户难以快速准确地获取到自己需要的网络信息,设计了基于Hadoop云计算平台的资源搜索系统,并对该搜索系统进行了实验验证,结果表明,随着数据量的不断增大,Hadoop版本系统节约的时间越多,优势越明显。
关键词 计算 资源搜索系统 hadoop MAPREDUCE
在线阅读 下载PDF
基于Hadoop云计算平台的文本处理算法的研究与改进 被引量:3
15
作者 陈静 《天津科技》 2016年第1期52-55,共4页
Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。在对Hadoop进行深入分析和研究的基础上,搭... Hadoop是Apache基金会下的一个开源分布式计算平台,以分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。在对Hadoop进行深入分析和研究的基础上,搭建基于Hadoop的云计算平台,并完成分布式文本文件处理任务以及对文件文本内容处理算法的改进和实现。 展开更多
关键词 计算 hadoop 数据去重算法 HDFS MAPREDUCE
在线阅读 下载PDF
基于Hadoop云计算平台的构建 被引量:7
16
作者 倪星宇 《微型电脑应用》 2020年第12期103-105,共3页
使用三台计算机作为服务器,构建小型集群。以Hadoop为基础,构建高可用的分布式云计算平台,配置相关组件,完善系统。此云计算平台可以用于承接工业生产中的相关智能算法的实现。
关键词 计算 hadoop 组件配置
在线阅读 下载PDF
基于Hadoop云计算平台的CBIR设计 被引量:1
17
作者 卓友胜 刘利 《电脑知识与技术》 2014年第9X期6318-6320,共3页
当今的数字时代,数据的增长速度不断加快,人们面临着需要高效快速处理大量数据的问题,由此诞生分布式计算机系统框架Hadoop。图像搜索方面,在海量图像数据的环境下,基于内容的图像检索(CBIR)相比传统基于文本的图像检索更具优越性。Had... 当今的数字时代,数据的增长速度不断加快,人们面临着需要高效快速处理大量数据的问题,由此诞生分布式计算机系统框架Hadoop。图像搜索方面,在海量图像数据的环境下,基于内容的图像检索(CBIR)相比传统基于文本的图像检索更具优越性。Hadoop适用于图像文件数无限大的情况,因此本文在简单介绍Hadoop之后,详细的描述了基于Hdoop的CBIR系统的设计与实现,并给出了系统性能的测试结果。 展开更多
关键词 基于内容的图像检索 计算 hadoop
在线阅读 下载PDF
基于Hadoop云计算平台的数据挖掘分析 被引量:3
18
作者 袁春园 《信息与电脑》 2015年第8期58-59,共2页
互联网用户的群体逐年增加,导致在企业运营发展过程中,每天产生大量的客户数据。如何从大量客户数据中筛选出有用数据,是当前数据挖掘的重点。通过客观阐述Hadoop平台下的系统数据存储及处理功能,深入分析基于云计算平台的数据挖掘设计... 互联网用户的群体逐年增加,导致在企业运营发展过程中,每天产生大量的客户数据。如何从大量客户数据中筛选出有用数据,是当前数据挖掘的重点。通过客观阐述Hadoop平台下的系统数据存储及处理功能,深入分析基于云计算平台的数据挖掘设计,旨在为后续云计算平台的相关研究奠定理论基础,提供参考依据。 展开更多
关键词 计算平台 hadoop平台 数据挖掘
在线阅读 下载PDF
基于Hadoop云计算平台的新浪微博数据聚类分析算法研究 被引量:2
19
作者 段庆伟 铁木巴干 《辽宁科技学院学报》 2017年第4期17-19,共3页
近年来,随着Web2.0的兴起,互联网信息更加丰富,数据规模日益增加,传统数据挖掘技术难以满足需要。云计算为解决这一问题提出了一种新方法。本文首先对开源的云计算技术Hadoop进行介绍,然后,对分布式进行了设计。本文将聚类过程分为三个... 近年来,随着Web2.0的兴起,互联网信息更加丰富,数据规模日益增加,传统数据挖掘技术难以满足需要。云计算为解决这一问题提出了一种新方法。本文首先对开源的云计算技术Hadoop进行介绍,然后,对分布式进行了设计。本文将聚类过程分为三个步骤,分别对TF-IDF关键词提取、LDA模型训练和K-means聚类过程进行MapReduce的实现,并使用公共微博数据集进行了聚类实验,并与传统聚类方法进行对比,结果表明,本文所使用LDA建模的分布式算法对中文微博数据聚类效果较好。 展开更多
关键词 计算 hadoop 分布式文本聚类 潜在狄利克雷分配模型 变分贝叶斯推断
在线阅读 下载PDF
基于Hadoop云计算平台仿百度智能输入提示算法的研究与实现 被引量:2
20
作者 华志洁 《天津科技》 2015年第12期20-23,共4页
云计算是指基于互联网、通过虚拟化方式共享IT资源的新型计算模式。Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。系统研究的主... 云计算是指基于互联网、通过虚拟化方式共享IT资源的新型计算模式。Hadoop以Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和Map Reduce分布式计算框架为核心,为用户提供了底层细节透明的云分布式基础设施。系统研究的主要内容在基于Hadoop的云计算平台上实现通过检索不同文件系统下的输入接口,输入内容的分布式统计结果,智能提示和匹配后续的内容,完成智能输入提示功能的算法研究与实现工作。 展开更多
关键词 计算 hadoop 智能输入 智能匹配 HDFS MAPREDUCE
在线阅读 下载PDF
上一页 1 2 243 下一页 到第
使用帮助 返回顶部