期刊文献+
共找到18篇文章
< 1 >
每页显示 20 50 100
数字化制造车间大数据处理平台部署运行与测试
1
作者 卢浩伟 《科学技术创新》 2025年第7期80-83,共4页
探究了面向数字化制造车间的大数据处理平台的部署方案和测试情况。该平台硬件部分由工业机械臂、实时以太网设备组以及数控机床等组成;软件部分包含了Hadoop、Spark等大数据软件组件。完成软硬件设备安装后绑定设备的静态IP,设定数据... 探究了面向数字化制造车间的大数据处理平台的部署方案和测试情况。该平台硬件部分由工业机械臂、实时以太网设备组以及数控机床等组成;软件部分包含了Hadoop、Spark等大数据软件组件。完成软硬件设备安装后绑定设备的静态IP,设定数据采集系统参数,可以实时获取数字化制造车间的数据并进行传输、分析,最终在客户端上以实时、可视化画面的形式呈现。从测试情况来看,大数据处理平台的吞吐量和延迟在初始化结束后趋于稳定,系统CUP占用率维持在7%以下,较好地满足了实时监控的需要。 展开更多
关键词 数字化制造车间 大数据处理平台 可视化 吞吐量
在线阅读 下载PDF
基于R语言的大数据处理平台的设计与实现 被引量:21
2
作者 周芸韬 《现代电子技术》 北大核心 2017年第2期53-56,59,共5页
R语言是一种基于统计、运算和绘图的数据处理方式,其能够较为理想地进行大数据处理工作。因此,设计基于R语言的大数据处理平台。当平台的用户请求层向技术层发送大数据处理指令,技术层随即开始工作,其处理结果也将反馈至用户请求层。技... R语言是一种基于统计、运算和绘图的数据处理方式,其能够较为理想地进行大数据处理工作。因此,设计基于R语言的大数据处理平台。当平台的用户请求层向技术层发送大数据处理指令,技术层随即开始工作,其处理结果也将反馈至用户请求层。技术层由大数据管理模块、大数据处理模块和R语言控制模块组成,大数据处理模块的EP1C6Q240C8芯片通过借鉴大型数据库内容,进行大数据的挖掘工作,并将其挖掘结果提供给大数据处理模块进行大数据的筛选、汇总、转换和标准控制。经大数据处理模块处理后的大数据,将通过串口通信电路回传给用户请求层。R语言控制模块为整个平台制订处理标准。软件方面利用R语言的类聚性能设计技术层挖掘功能图和大数据向量化处理代码。实验结果表明,所设计的平台能够对大数据进行高性能的处理。 展开更多
关键词 R语言 大数据处理平台 EP1C6Q240C8 数据挖掘
在线阅读 下载PDF
基于Hadoop与Spark的大数据处理平台的构建研究 被引量:10
3
作者 刘萍 《通化师范学院学报》 2018年第6期83-88,共6页
随着大数据时代的到来,为了更好地利用大数据,需构建大数据处理平台进行大数据分析.Hadoop是大数据领域最流行的大数据处理平台,它是集分布式计算、存储和管理为一体的生态系统.Hadoop的MapReduce框架是负责分布式计算的.目前流行的Spar... 随着大数据时代的到来,为了更好地利用大数据,需构建大数据处理平台进行大数据分析.Hadoop是大数据领域最流行的大数据处理平台,它是集分布式计算、存储和管理为一体的生态系统.Hadoop的MapReduce框架是负责分布式计算的.目前流行的Spark框架与MapReduce类似,也是一个分布式计算平台.而相比于MapReduce,Spark的速度更快且提供的功能更丰富.Spark只是一个计算平台,本身并没有提供分布式存储和管理,Spark的计算依赖于Hadoop生态系统中的分布式文件系统HDFS,以及集群资源管理器Hadoop Yarn.因此将Spark与Hadoop相结合来构建大数据处理平台,可提高算法运行效率和处理规模.本研究搭建了Hadoop集群和Spark集群,完成了大数据处理平台的构建.最后在搭建好的集群上运行了实现单词词频统计的Word Count程序,验证了大数据处理平台搭建的成功. 展开更多
关键词 SPARK 大数据处理平台 HADOOP
在线阅读 下载PDF
大数据处理平台性能优化研究 被引量:3
4
作者 杨浩 《信息与电脑》 2019年第15期151-152,共2页
信息数据已渗透人们的生活,运用大数据平台完成数据处理,提升加快了通信行业的效率,提高了信息材料的利用率。大数据平台可有效分析这些数据,对相关产品的维护、研发发挥促进作用,不断提升产品质量与工作效率,为公司增创收入。基于此,... 信息数据已渗透人们的生活,运用大数据平台完成数据处理,提升加快了通信行业的效率,提高了信息材料的利用率。大数据平台可有效分析这些数据,对相关产品的维护、研发发挥促进作用,不断提升产品质量与工作效率,为公司增创收入。基于此,概述了大数据处理平台发展现状,阐述了大数据处理平台性能评估方法和存在的问题,介绍了大数据处理平台性能优化的具体措施。 展开更多
关键词 大数据处理平台 HADOOP SPARK 性能优化
在线阅读 下载PDF
Spark大数据处理平台的构建及应用 被引量:2
5
作者 王玉 《大众标准化》 2019年第18期28-29,共2页
在大数据时代,Spark的应用能够为大规模数据分析处理提供可靠性保障。基于此,本文对Spark展开了分析,从平台架构、功能模块组成等方面提出了Spark大数据处理平台的构建方案,并从数据采集和资源调度两方面探讨了平台的应用方法,为关注这... 在大数据时代,Spark的应用能够为大规模数据分析处理提供可靠性保障。基于此,本文对Spark展开了分析,从平台架构、功能模块组成等方面提出了Spark大数据处理平台的构建方案,并从数据采集和资源调度两方面探讨了平台的应用方法,为关注这一话题的人们提供参考。 展开更多
关键词 SPARK 大数据处理平台 资源调度
在线阅读 下载PDF
试论基于AWS和CDH的大数据处理平台企业级架构
6
作者 孙同伦 《信息通信》 2019年第4期141-143,共3页
在5G快速发展背景下,AWS云服务和CDH集群部署得到了广泛应用。基于这种认识,文章结合企业级大数据平台建设问题,采用AWS和CDH实现了大数据处理平台企业级架构的部署,保证平台大数据处理性能,继而为企业业务的开展提供强有力技术支撑。
关键词 AWS CDH 5G通信 大数据处理平台
在线阅读 下载PDF
云计算的智能电网大数据处理平台 被引量:7
7
作者 李子乾 朱青 +1 位作者 穆松鹤 张月 《粘接》 CAS 2019年第11期169-173,共5页
为有效满足智能电网对大数据处理的需求,文章完成了SP-DPP大数据处理平台的构建,该平台基于云计算,主要由客户端、存储管理、任务分配调度、执行四大模块构成,并根据电网大数据处理需求完成了数学模型的构建及数据任务的划分,对平台处... 为有效满足智能电网对大数据处理的需求,文章完成了SP-DPP大数据处理平台的构建,该平台基于云计算,主要由客户端、存储管理、任务分配调度、执行四大模块构成,并根据电网大数据处理需求完成了数学模型的构建及数据任务的划分,对平台处理大数据的编码方式进行了详细描述,并以IEEE118节点电网为例介绍了大数据处理程序,该平台在吞吐量及加速比方面表现出了较大的优势,为提升智能电网对电网大数据的处理性能提供参考。 展开更多
关键词 智能电网 大数据处理平台 云计算 潮流计算
在线阅读 下载PDF
基于Hadoop的大数据处理平台设计与实现 被引量:8
8
作者 张黎平 段淑萍 俞占仓 《电子测试》 2022年第20期74-75,83,共3页
Hadoop是当前最流行的大数据处理框架,是对大数据储存和处理的开源分布式计算平台,呈现出较高的安全稳定性、高效性、可扩展性,同时成本较低等优势。本文主要基于hadoop设计并实现一个高效有用的大数据处理平台。
关键词 HADOOP 大数据处理平台 设计 实现
在线阅读 下载PDF
数字媒体大数据处理与分析平台的设计与应用 被引量:1
9
作者 徐凤姣 《黑龙江科学》 2024年第16期150-152,共3页
随着数字媒体的快速发展,产生了大量包括文本、图片、视频和音频等多种形式的数据。有效的大数据处理与分析对理解用户行为、优化内容推荐、提升广告效果等具有重要意义。设计包括数据采集、数据存储、数据处理和数据分析等关键模块的... 随着数字媒体的快速发展,产生了大量包括文本、图片、视频和音频等多种形式的数据。有效的大数据处理与分析对理解用户行为、优化内容推荐、提升广告效果等具有重要意义。设计包括数据采集、数据存储、数据处理和数据分析等关键模块的数字媒体大数据处理与分析平台,详细描述各模块的功能和实现方法,基于Scrapy框架实现数据采集,利用MapReduce模型对图像数据进行清洗,基于Hive仓库设计数据分析方法。该平台能够高效地处理与分析大规模的数字媒体数据,符合不同类型的数字媒体数据处理需求。 展开更多
关键词 数字媒体 大数据处理与分析平台 大数据技术 数据采集 数据清洗
在线阅读 下载PDF
基于Flink的工业大数据平台研究与应用 被引量:20
10
作者 赵润发 娄渊胜 +1 位作者 叶枫 石宏 《计算机工程与设计》 北大核心 2022年第3期886-894,共9页
随着工业4.0的到来,互联网与工业结合愈发紧密,但工业大数据规模大、类型杂、质量低的特点导致大量设备数据无效且企业人员无法正确监测到设备信息。针对这一问题,提出一种基于Flink的工业大数据平台。以企业传感器数据为基础,用Flink... 随着工业4.0的到来,互联网与工业结合愈发紧密,但工业大数据规模大、类型杂、质量低的特点导致大量设备数据无效且企业人员无法正确监测到设备信息。针对这一问题,提出一种基于Flink的工业大数据平台。以企业传感器数据为基础,用Flink将不同类型的数据发送至消息管道Kafka中暂存数据,用Flink对Kafka中的数据进行处理,实现工业大数据的查询与预警,与当前典型的两个大数据平台进行比较。实验结果表明,由Flink和Kafka集成的工业大数据平台,能更清晰高效地查询到设备数据且能够更快速地实现对企业设备的预警。 展开更多
关键词 工业4.0 工业大数据 大数据处理平台 弗林克 卡夫卡 查询预警
在线阅读 下载PDF
场站飞行保障数据可视化平台设计与应用 被引量:1
11
作者 刘君阳 朱世松 《计算机系统应用》 2023年第5期67-76,共10页
为提升航空兵场站信息化建设过程中的数据应用与管理能力,提出了一种基于Spark的场站飞行保障大数据可视化平台.以场站信息化系统和物联网络数据采集数据为基础,利用Spark计算引擎集成Kafka消息队列,使用Hive完成数据列表库的建立和存储... 为提升航空兵场站信息化建设过程中的数据应用与管理能力,提出了一种基于Spark的场站飞行保障大数据可视化平台.以场站信息化系统和物联网络数据采集数据为基础,利用Spark计算引擎集成Kafka消息队列,使用Hive完成数据列表库的建立和存储,基于Spark RDD和Spark SQL完成数据预处理与交互,并选择Vue框架嵌入ECharts组件完成前端数据可视化呈现,并最终对设计方案进行了实现与应用.相较于当前业务隔离的信息系统建设模式,平台具备更高的数据融合与处理分析能力,能够更好地实现场站飞行保障数据价值. 展开更多
关键词 飞行保障 大数据 大数据处理平台 数据可视化 SPARK 态势感知 数据分析
在线阅读 下载PDF
大数据处理技术在地理信息档案管理中的应用 被引量:11
12
作者 胡瑛 《测绘通报》 CSCD 北大核心 2016年第9期112-114,共3页
分析了当前地理信息档案管理的现状及面临的问题,介绍了HDFS文件管理系统、云存储、Elastic Search检索、非结构化数据库、知识图谱5种大数据处理技术,并对其在省级地理信息档案资源大数据处理平台构建、地理信息档案数据挖掘与知识发... 分析了当前地理信息档案管理的现状及面临的问题,介绍了HDFS文件管理系统、云存储、Elastic Search检索、非结构化数据库、知识图谱5种大数据处理技术,并对其在省级地理信息档案资源大数据处理平台构建、地理信息档案数据挖掘与知识发现两方面的应用进行了论述。 展开更多
关键词 大数据 地理信息档案 地理信息档案管理 大数据处理技术 大数据处理平台构建 数据挖掘与知识发现
在线阅读 下载PDF
一种基于Yarn云平台的基因启发式多序列比对算法
13
作者 杨波 徐胜超 +1 位作者 周继鹏 王志坚 《电子技术应用》 2024年第11期16-22,共7页
提出一种基于Yarn云平台的基因启发式多序列比对算法。建立核酸替换等价矩阵作为基因启发式数学模型,构建Yarn云平台逻辑架构,通过对基因数据预处理、基因数据存储、基因序列比对、基因数据管理、基因数据分析等步骤,对数据分类保存,划... 提出一种基于Yarn云平台的基因启发式多序列比对算法。建立核酸替换等价矩阵作为基因启发式数学模型,构建Yarn云平台逻辑架构,通过对基因数据预处理、基因数据存储、基因序列比对、基因数据管理、基因数据分析等步骤,对数据分类保存,划分错误率较高的长序列,得到多个较短的基因片段。对不同片段实施定位,将其中的变长种子生成,进行骨架构建和孔隙填补,可以实现基因启发式多序列比对。结果表明,设计的算法在不同数据集下处理时间缩短,多序列比对SP(Sum of Pairs)的分值较高,实验验证了该多序列比对方法具有很好的应用价值。 展开更多
关键词 生物数据 并行计算 分布式计算架构 分布式数据库系统 大数据处理平台
在线阅读 下载PDF
基于Spark平台的微震监测快速定位方法研究 被引量:4
14
作者 丁恩杰 吕雅洁 +1 位作者 胡东平 陈卿 《煤炭科学技术》 CAS 北大核心 2016年第7期22-27,共6页
针对微震监测海量震动波数据实时处理难题,提出了在Spark大数据处理平台上对大量震动数据进行处理,提出基于粒子群寻优策略的震动波震源TDOA定位的并行计算程序思路,并在3台机器组成的小型Spark集群环境下进行试验验证。试验证明了在Sp... 针对微震监测海量震动波数据实时处理难题,提出了在Spark大数据处理平台上对大量震动数据进行处理,提出基于粒子群寻优策略的震动波震源TDOA定位的并行计算程序思路,并在3台机器组成的小型Spark集群环境下进行试验验证。试验证明了在Spark平台上做海量震动波数据处理的可行性,并且证明了与单机震源定位计算相比,此方法可以有效加快最优解的收敛速度,提高处理效率。 展开更多
关键词 微震监测 互联网+ Spark大数据处理平台 TDOA定位 并行粒子群算法
在线阅读 下载PDF
大数据机器学习系统研究进展 被引量:51
15
作者 黄宜华 《大数据》 2015年第1期28-47,共20页
要实现高效的大数据机器学习,需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统面临诸多技术挑战。近年来,大数据浪潮的兴起,推动了大数据机... 要实现高效的大数据机器学习,需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统面临诸多技术挑战。近年来,大数据浪潮的兴起,推动了大数据机器学习的迅猛发展,使大数据机器学习系统成为大数据领域的一个热点研究问题。介绍了国内外大数据机器学习系统的基本概念、基本研究问题、技术特征、系统分类以及典型系统;在此基础上,进一步介绍了本实验室研究设计的一个跨平台统一大数据机器学习系统——Octopus(大章鱼)。 展开更多
关键词 大数据 机器学习 分布并行计算 大数据处理平台
在线阅读 下载PDF
大数据技术在智能充电桩网络系统中的应用 被引量:8
16
作者 冯鹏洲 《电力大数据》 2018年第12期47-52,共6页
当前智能充电桩网络系统中的数据具有"大数据"的典型特征,即数据源、数据类型丰富、数据量庞大且增长迅速,而传统的数据处理技术无法有效处理这些数据,大数据技术可以很好应对此场景。大数据技术在充电桩运维,充电客户分析,... 当前智能充电桩网络系统中的数据具有"大数据"的典型特征,即数据源、数据类型丰富、数据量庞大且增长迅速,而传统的数据处理技术无法有效处理这些数据,大数据技术可以很好应对此场景。大数据技术在充电桩运维,充电客户分析,电网企业整体运营调度中起到非常关键的促进作用,对建立安全可靠高效的充电桩网络具有重要意义。该文探讨了大数据技术以在智能充电桩网络系统中的具体应用,分析了智能充电桩网络系统与大数据之间的关系,详细阐述了智能充电桩网络大数据处理平台总体架构的设计思路,并展开描述这其中所使用到的关键技术点,最后着重分析了大数据技术在充电桩运维,充电客户分析,企业整体运营调度中的具体应用。大数据技术能促进充电桩网络向智能化方向发展,为建设安全高效便捷充电桩网络提供切实保障。大数据技术在电力行业的广泛应用必将带来行业的变革,将智能电网的发展推向新的阶段。 展开更多
关键词 大数据 智能充电桩 大数据处理平台
在线阅读 下载PDF
基于改进模糊C均值算法的网络入侵检测研究 被引量:2
17
作者 郑美容 《信息与电脑》 2021年第22期72-74,共3页
近年来,随着大数据技术的快速发展,大数据处理平台迅速兴起。大数据处理平台具有高吞吐量、网络协议多、端口多、数据量大、高并发等特征,借助传统入侵检测技术很难实时监控网络危险。为提高网络入侵检测的准确率和实时性,笔者提出一种... 近年来,随着大数据技术的快速发展,大数据处理平台迅速兴起。大数据处理平台具有高吞吐量、网络协议多、端口多、数据量大、高并发等特征,借助传统入侵检测技术很难实时监控网络危险。为提高网络入侵检测的准确率和实时性,笔者提出一种改进模糊C均值算法,对分类后的数据集进行训练,使用Kafka技术处理采集的数据,通过Spark Streaming读取网络实时传输的数据流,并对检测到的入侵数据进行实时检测。 展开更多
关键词 大数据处理平台 模糊C均值算法 Kafka Spark Streaming
在线阅读 下载PDF
隐马尔可夫模型在恶意域名检测中的应用 被引量:5
18
作者 白玲玲 宁振虎 +1 位作者 薛菲 杨永丽 《计算机工程》 CAS CSCD 北大核心 2019年第9期161-168,共8页
提出一种基于隐马尔可夫模型(HMM)的恶意域名检测方法。分析善恶域名在DNS通信中的各类特征,利用Spark大数据处理平台的高效计算能力对属性特征进行统计,在此基础上,通过HMM中的Baum-Welch算法和Viterbi算法对恶意域名进行准确分类。实... 提出一种基于隐马尔可夫模型(HMM)的恶意域名检测方法。分析善恶域名在DNS通信中的各类特征,利用Spark大数据处理平台的高效计算能力对属性特征进行统计,在此基础上,通过HMM中的Baum-Welch算法和Viterbi算法对恶意域名进行准确分类。实验结果表明,与随机森林模型相比,HMM对恶意域名分类的准确率与召回率均较高。 展开更多
关键词 恶意域名 隐马尔可夫模型 Baum-Welch算法 VITERBI算法 Spark大数据处理平台
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部