期刊导航
期刊开放获取
唐山市科学技术情报研究..
退出
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于Spark的LIBSVM参数优选并行化算法
被引量：
21
1
作者
李坤
刘鹏
+2 位作者
吕雅洁
张国鹏
黄宜华
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2016年第2期343-352,共10页
利用Spark集群设计LIBSVM参数优选的并行化实现.LIBSVM是一款广泛使用的SVM软件包,广泛应用于模型搭建、样本训练和结果预测等方面.在用LIBSVM训练数据集时,参数的选择对训练结果影响显著,其中以参数C和g最为重要.LIBSVM软件包中采用网...
利用Spark集群设计LIBSVM参数优选的并行化实现.LIBSVM是一款广泛使用的SVM软件包,广泛应用于模型搭建、样本训练和结果预测等方面.在用LIBSVM训练数据集时,参数的选择对训练结果影响显著,其中以参数C和g最为重要.LIBSVM软件包中采用网格搜索算法对C、g参数组合进行寻优,尽管该算法在单机上实现了并行化,但当数据量达到一定程度时,仍需要花费大量的时间.基于Spark并行计算架构,进行了LIBSVM的C、g参数网格优选并行算法的设计与实现.实验结果表明,提出的并行粗粒度网格搜索C、g参数优选算法比传统算法速度提升了近7倍,而且这一提升将随着集群规模的扩大而进一步加大.另一方面,在粗粒度网格搜索的基础上,进而提出的细粒度并行网格搜索算法又进一步提升了C、g参数组合的优选结果.
展开更多
关键词
LIBSVM
参数优选
网格搜索
并行化
SPARK
在线阅读
下载PDF
职称材料
基于Spark的极限学习机算法并行化研究
被引量：
6
2
作者
刘鹏
王学奎
+2 位作者
黄宜华
孟磊
丁恩杰
《计算机科学》
CSCD
北大核心
2017年第12期33-37,共5页
极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进...
极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。
展开更多
关键词
限学习机
并行化
SPARK
RDD
Hadoop
MAPREDUCE
在线阅读
下载PDF
职称材料
题名
基于Spark的LIBSVM参数优选并行化算法
被引量：
21
1
作者
李坤
刘鹏
吕雅洁
张国鹏
黄宜华
机构
中国矿业
大学
信息与电气工程学院
中国矿业
大学
物联网(感知矿山)研究中心
矿山互联网应用技术国家地方联合工程
实验室
南京大学计算机系pasa大数据实验室
出处
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2016年第2期343-352,共10页
基金
国家高技术研究发展计划(863计划)(2013AA06A411)
国家自然科学基金(61471361)
中央高校基本科研业务费(2011QNB26)
文摘
利用Spark集群设计LIBSVM参数优选的并行化实现.LIBSVM是一款广泛使用的SVM软件包,广泛应用于模型搭建、样本训练和结果预测等方面.在用LIBSVM训练数据集时,参数的选择对训练结果影响显著,其中以参数C和g最为重要.LIBSVM软件包中采用网格搜索算法对C、g参数组合进行寻优,尽管该算法在单机上实现了并行化,但当数据量达到一定程度时,仍需要花费大量的时间.基于Spark并行计算架构,进行了LIBSVM的C、g参数网格优选并行算法的设计与实现.实验结果表明,提出的并行粗粒度网格搜索C、g参数优选算法比传统算法速度提升了近7倍,而且这一提升将随着集群规模的扩大而进一步加大.另一方面,在粗粒度网格搜索的基础上,进而提出的细粒度并行网格搜索算法又进一步提升了C、g参数组合的优选结果.
关键词
LIBSVM
参数优选
网格搜索
并行化
SPARK
Keywords
LIBSVM
parameter optimization
grid search
parallelize
Spark
分类号
TP301 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
基于Spark的极限学习机算法并行化研究
被引量：
6
2
作者
刘鹏
王学奎
黄宜华
孟磊
丁恩杰
机构
中国矿业
大学
物联网(感知矿山)研究中心
矿山互联网应用技术国家地方联合工程
实验室
中国矿业
大学
信息与控制工程学院
南京大学计算机系pasa大数据实验室
出处
《计算机科学》
CSCD
北大核心
2017年第12期33-37,共5页
基金
国家重点研发计划:矿山安全生产物联网关键技术与装备研发(2017YFC0804400
2017YFC0804401)
+1 种基金
国家自然科学基金项目(61471361
41302203)资助
文摘
极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。
关键词
限学习机
并行化
SPARK
RDD
Hadoop
MAPREDUCE
Keywords
ELM
Parallelization
Spark
RDD
Hadoop
MapReduce
分类号
TP18 [自动化与计算机技术—控制理论与控制工程]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于Spark的LIBSVM参数优选并行化算法
李坤
刘鹏
吕雅洁
张国鹏
黄宜华
《南京大学学报（自然科学版）》
CAS
CSCD
北大核心
2016
21
在线阅读
下载PDF
职称材料
2
基于Spark的极限学习机算法并行化研究
刘鹏
王学奎
黄宜华
孟磊
丁恩杰
《计算机科学》
CSCD
北大核心
2017
6
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
