期刊文献+
共找到226篇文章
< 1 2 12 >
每页显示 20 50 100
深度学习步长自适应动量优化方法研究综述
1
作者 陶蔚 陇盛 +2 位作者 刘鑫 胡亚豪 黄金才 《小型微型计算机系统》 北大核心 2025年第2期257-265,共9页
当前,以深度神经网络和预训练模型为基础的生成式人工智能受到学术界和工业界的普遍关注.深度学习的研究达到前所未有的高度.自2015年提出以来,无论是图像、语音还是文本等领域,以Adam为代表的自适应动量优化方法,因其快速的收敛速度、... 当前,以深度神经网络和预训练模型为基础的生成式人工智能受到学术界和工业界的普遍关注.深度学习的研究达到前所未有的高度.自2015年提出以来,无论是图像、语音还是文本等领域,以Adam为代表的自适应动量优化方法,因其快速的收敛速度、适应各种梯度和参数变化的能力,已经成为深度学习训练的首选方法,但是仍然存在:1)算法的全局收敛性较差;2)参数选择策略与理论分析不一致;3)针对不同任务的泛化性能有待进一步提升.为分析并解决以上挑战,研究者们分别使用自适应步长和动量两种优化技巧对自适应动量方法进行了大量研究.本文是这一类方法的研究综述,首先回顾了深度学习优化的发展背景与面临的挑战,重点介绍了一阶梯度条件下的自适应步长方法、动量算法、步长自适应动量算法、大模型中的应用等,尤其是针对凸情形下收敛性研究进展进行了系统梳理,最后展望了步长自适应动量算法未来发展方向. 展开更多
关键词 深度学习 优化算法 动量 自适应步长 收敛性
在线阅读 下载PDF
基于深度学习的自适应优化算法研究及其在大数据处理中的应用
2
作者 王治学 马廷福 海小虎 《电脑知识与技术》 2024年第32期62-64,共3页
随着数据量的急剧增加,传统深度学习训练方法在效率和效果上遇到了限制,如数据异质性与非平稳性、计算资源的限制以及模型过拟合等问题。针对这些挑战,文章提出了一系列改进策略,包括动态正则化方法、资源感知的分布式处理框架以及基于... 随着数据量的急剧增加,传统深度学习训练方法在效率和效果上遇到了限制,如数据异质性与非平稳性、计算资源的限制以及模型过拟合等问题。针对这些挑战,文章提出了一系列改进策略,包括动态正则化方法、资源感知的分布式处理框架以及基于元学习的学习率自适应调整机制。这些策略旨在提升模型在大数据处理中的性能和泛化能力,同时保证计算资源的高效利用。 展开更多
关键词 深度学习 自适应优化算法 大数据处理
在线阅读 下载PDF
多维背包问题的新型人类学习优化算法 被引量:1
3
作者 张翼鹏 刘勇 马良 《计算机应用研究》 CSCD 北大核心 2024年第12期3689-3700,共12页
针对目前算法求解多维背包时精度低、稳定性差、特别是无法有效求解超大规模算例等问题,提出一种新型人类学习优化算法。首先,基于认知心理学中的记忆理论,在基本人类学习算法中采用哈希函数表示人类在学习过程中的记忆行为,避免重复搜... 针对目前算法求解多维背包时精度低、稳定性差、特别是无法有效求解超大规模算例等问题,提出一种新型人类学习优化算法。首先,基于认知心理学中的记忆理论,在基本人类学习算法中采用哈希函数表示人类在学习过程中的记忆行为,避免重复搜索,提高算法搜索群体多样性;其次,采用认知心理学中的对比认知理论对学习算子选择策略进行自适应调整;最后,采用变邻域搜索操作提升算法局部搜索能力。采用小规模、中等规模、大规模、超大规模共76个多维背包问题的标准测试数据集进行数值实验,并将新算法和二进制粒子群算法、遗传算法、人类学习算法以及融合学习心理学的人类学习算法进行比较。结果表明新算法能够有效求解四种规模算例。与其他算法相比,新算法具有更高的寻优精度和更好的稳定性。此外,对提出的三种优化策略进行分析,测试其对提高算法搜索性能的有效性。 展开更多
关键词 人类学习优化算法 认知心理学 哈希函数 学习算子选择策略 多维背包问题
在线阅读 下载PDF
一种基于简化方程的改进粒子群优化算法
4
作者 马钰 魏文红 《东莞理工学院学报》 2025年第1期41-47,共7页
为提高粒子群优化算法的收敛速度和求解精度,本文基于无视速度影响的简化粒子群优化算法,引入随迭代次数自适应调整的非线性惯性权重和异步学习因子,以此平衡粒子的全局搜索和局部开发能力。同时融合遗传算法的精英保留策略,确保每一代... 为提高粒子群优化算法的收敛速度和求解精度,本文基于无视速度影响的简化粒子群优化算法,引入随迭代次数自适应调整的非线性惯性权重和异步学习因子,以此平衡粒子的全局搜索和局部开发能力。同时融合遗传算法的精英保留策略,确保每一代进化中最佳个体得以保留,助力粒子逃离局部最优。最后,通过5种测试函数比较了基本粒子群优化算法、本文改进算法以及其他经典改进算法的性能,实验证明,本文改进算法在收敛速度和求解精度等方面有显著的提升。 展开更多
关键词 简化粒子群优化算法 非线性惯性权重 非线性异步学习因子 群体智能
在线阅读 下载PDF
基于DCT与自适应人类学习优化算法的图像匹配算法 被引量:6
5
作者 张旭 郭东恩 《电子测量与仪器学报》 CSCD 北大核心 2018年第6期148-154,共7页
为提高图像匹配的精度和速度,利用离散余弦变换(DCT)和自适应人类学习优化算法(ASHLO),提出了一种快速并且抗噪性强的图像匹配算法。该方法利用当前搜索位置子图像和模板图像离散余弦变换后的参数构造适应度函数,经过迭代寻优寻找最优... 为提高图像匹配的精度和速度,利用离散余弦变换(DCT)和自适应人类学习优化算法(ASHLO),提出了一种快速并且抗噪性强的图像匹配算法。该方法利用当前搜索位置子图像和模板图像离散余弦变换后的参数构造适应度函数,经过迭代寻优寻找最优匹配位置。将该算法在正常情况下以及不同噪声情况下与穷举法、基于粒子群算法(PSO),基于人工蜂群算法(ABC)的图像匹配算法进比较。实验结果表明,该算法可以获得较高的准确率,成功匹配率约95%,且速度快,抗噪性强。 展开更多
关键词 图像匹配 离散余弦变换 自适应人类学习优化算法 粒子群 人工蜂群
在线阅读 下载PDF
基于折射反向学习和自适应策略的哈里斯鹰优化算法
6
作者 杨翔宇 高博 《计算机应用》 CSCD 北大核心 2024年第S2期129-133,共5页
为解决哈里斯鹰优化(HHO)算法的收敛速度较慢、收敛精度不够高和无法跳出局部最优等问题,提出一种基于折射反向学习(ROBL)和自适应策略的改进算法。通过引入ROBL策略,在搜索过程中生成反向解来扩大搜索范围,以提高算法的收敛速度和全局... 为解决哈里斯鹰优化(HHO)算法的收敛速度较慢、收敛精度不够高和无法跳出局部最优等问题,提出一种基于折射反向学习(ROBL)和自适应策略的改进算法。通过引入ROBL策略,在搜索过程中生成反向解来扩大搜索范围,以提高算法的收敛速度和全局搜索能力。同时,采用自适应惯性权重和非线性能量递减因子动态地调整算法的探索和开发能力。另外,引入改进的自适应t分布变异对最优位置进行变异,以增强算法跳出局部最优解的能力。改进算法在维持种群多样性的同时,提升了收敛速度、全局搜索能力和收敛精度。在12个基准测试函数上的对比实验中,与群体智能算法相比,所提算法均获得了最高的收敛精度;而且,在基准测试函数实验中,验证了单个改进策略的有效性以及多个策略组合使用相较于单策略使用的优越性。 展开更多
关键词 哈里斯鹰优化算法 折射反向学习 自适应策略 非线性能量递减策略 基准测试函数
在线阅读 下载PDF
融合三维螺旋运动和混合反向学习策略的改进鹈鹕优化算法 被引量:1
7
作者 李彦苍 李一凡 +1 位作者 王钊 王育德 《科学技术与工程》 北大核心 2024年第11期4607-4617,共11页
针对鹈鹕优化算法收敛速度较慢、初始化过程随机产生初始种群导致种群多样性差,在后期易陷入局部最优等问题,提出了一种融合三维螺旋飞行和混合反向学习策略的鹈鹕优化算法。首先使用Gauss映射初始化种群,提高种群多样性;其次利用三维... 针对鹈鹕优化算法收敛速度较慢、初始化过程随机产生初始种群导致种群多样性差,在后期易陷入局部最优等问题,提出了一种融合三维螺旋飞行和混合反向学习策略的鹈鹕优化算法。首先使用Gauss映射初始化种群,提高种群多样性;其次利用三维螺旋飞行和混合最优最差反向学习策略,加强算法跳出局部最优的能力;最后,引入自适应平衡因子与自适应步长,提出鹈鹕坠落策略,以模拟捕食过程中群体的微小变化。最后,通过12个基准函数和实际案例对IPOA(improved pelican optimization algorithm)进行测试,并与8个仿生算法进行对比,测试结果与Wilcoxon符号秩和检验结果均表明IPOA收敛精度与稳定性等各项性能都有所提升,具有明显优势。 展开更多
关键词 鹈鹕优化算法 GAUSS映射 三维螺旋运动策略 反向学习 自适应平衡因子 自适应步长
在线阅读 下载PDF
基于学习型多策略改进鲸鱼算法的路径规划研究
8
作者 岳凡 艾尔肯·亥木都拉 刘拴 《组合机床与自动化加工技术》 北大核心 2025年第2期46-51,56,共7页
为解决机器人在路径规划中路径过长与后期寻优停滞的问题,提出了一种学习型多策略改进鲸鱼优化算法(reinforcement learning multi-strategy improvement whale optimization algorithm,RLMIWOA),并在欧式距离的基础上引入了障碍物信息... 为解决机器人在路径规划中路径过长与后期寻优停滞的问题,提出了一种学习型多策略改进鲸鱼优化算法(reinforcement learning multi-strategy improvement whale optimization algorithm,RLMIWOA),并在欧式距离的基础上引入了障碍物信息与拐点信息,构建了路径规划适应度函数。首先,引入自适应帐篷映射初始化,使得初始化种群更加均匀;其次,引入了非线性收敛策略平衡算法的开发和探索阶段;然后,通过采用非线性加权因子对最优个体进行扰动,避免了其他个体对最优个体的“盲从”;最后,通过采用强化学习结合ε-精英逐维反向学习策略和动态局部最优逃生策略,提高了算法的收敛效率和跳出局部最优的能力。实验结果表明:RLMIWOA算法可以高效地找到最优路径,在路径搜索方面具有显著的优势。 展开更多
关键词 路径规划 强化学习 鲸鱼优化算法 适应度函数 局部最优
在线阅读 下载PDF
具有反向学习和自适应逃逸功能的粒子群优化算法 被引量:7
9
作者 吕莉 赵嘉 孙辉 《计算机应用》 CSCD 北大核心 2015年第5期1336-1341,共6页
为克服粒子群优化算法进化后期收敛速度慢、易陷入局部最优等缺点,提出一种具有反向学习和自适应逃逸功能的粒子群优化算法。通过设定的阈值,算法将种群进化状态划分为正常状态和"早熟"状态:若算法处于正常的进化状态,采用标... 为克服粒子群优化算法进化后期收敛速度慢、易陷入局部最优等缺点,提出一种具有反向学习和自适应逃逸功能的粒子群优化算法。通过设定的阈值,算法将种群进化状态划分为正常状态和"早熟"状态:若算法处于正常的进化状态,采用标准粒子群优化算法的进化模式;当粒子陷入"早熟"状态,运用反向学习和自适应逃逸功能,对个体最优位置进行反向学习,产生粒子的反向解,增加粒子的反向学习能力,增强算法逃离局部最优的能力,提高算法寻优率。在固定评估次数的情况下,对8个基准测试函数进行仿真,实验结果表明:所提算法在收敛速度、寻优精度和逃离局部最优的能力上明显优于多种经典粒子群优化算法,如充分联系的粒子群优化算法(FIPS)、基于时变加速度系数的自组织分层粒子群优化算法(HPSO-TVAC)、综合学习的粒子群优化算法(CLPSO)、自适应粒子群优化算法(APSO)、双中心粒子群优化算法(DCPSO)和具有快速收敛和自适应逃逸功能的粒子群优化算法(FAPSO)等。 展开更多
关键词 粒子群优化算法 反向学习 算法状态 自适应逃逸
在线阅读 下载PDF
城市居民区回收箱布局和调度双层规划模型及优化算法
10
作者 郭谦 刘勇 马良 《计算机应用研究》 北大核心 2025年第1期177-184,共8页
针对城市居民区回收箱布局规划和路径优化问题,首先构建居民区回收箱数量与人口、回收频率、回收阈值的线性函数,并构建双层优化模型,回收总利润最大化作为上层目标,运输成本最小化作为下层目标。其次,为求解具有NP-hard特征的新模型,... 针对城市居民区回收箱布局规划和路径优化问题,首先构建居民区回收箱数量与人口、回收频率、回收阈值的线性函数,并构建双层优化模型,回收总利润最大化作为上层目标,运输成本最小化作为下层目标。其次,为求解具有NP-hard特征的新模型,设计加入团体学习算子和自适应选择策略的人类学习优化算法,并与禁忌搜索算法嵌套构建混合人类学习算法(hybrid human learning optimization algorithm,HHLO)。再次,采用不同规模算例,并将新算法与基本人类学习算法、遗传算法、自适应粒子群算法、红嘴蓝鹊算法进行对比分析,验证了模型的可行性和算法的有效性。最后,通过上海杨浦区某实例进行灵敏度分析,探讨回收箱容量、分时定价策略和分区定价策略对回收中心总利润与居民满意度的影响。 展开更多
关键词 回收箱布局 车辆调度 混合人类学习优化算法 双层规划
在线阅读 下载PDF
自适应精英反向学习的粒子群优化算法 被引量:7
11
作者 赵嘉 吕莉 孙辉 《小型微型计算机系统》 CSCD 北大核心 2015年第9期2166-2171,共6页
针对标准粒子群优化算法易陷入局部最优、进化后期收敛速度慢和收敛精度低等缺点,提出一种自适应精英反向学习的粒子群优化算法.在迭代过程中,算法判断种群是否陷入局部最优,若陷入局部最优,则随机选择精英粒子的部分维度进行反向学习,... 针对标准粒子群优化算法易陷入局部最优、进化后期收敛速度慢和收敛精度低等缺点,提出一种自适应精英反向学习的粒子群优化算法.在迭代过程中,算法判断种群是否陷入局部最优,若陷入局部最优,则随机选择精英粒子的部分维度进行反向学习,且学习的维度空间大小随着进化呈线性递减,以此增强算法在进化前期的探索能力和后期的开发能力.在固定评估次数的情况下,实验对10个常用经典基准测试函数在30维上进行仿真测试,实验结果表明:改进算法在收敛速度、寻优精度和逃离局部最优的能力上明显优于一些知名的改进粒子群优化算法. 展开更多
关键词 粒子群优化算法 自适应 精英粒子 反向学习
在线阅读 下载PDF
自适应变异综合学习粒子群优化算法 被引量:21
12
作者 蔡昭权 黄翰 《计算机工程》 CAS CSCD 北大核心 2009年第7期170-171,202,共3页
针对以往粒子群优化算法多样性差且易局部收敛的不足,提出改进综合学习粒子群优化(CLPSO)算法的最小方差优先自适应变异策略,设计自适应变异综合粒子群优化(CLPSO-M)算法。多个标准测试问题的对比实验数据表明,CLPSO-M算法比CLPSO算法... 针对以往粒子群优化算法多样性差且易局部收敛的不足,提出改进综合学习粒子群优化(CLPSO)算法的最小方差优先自适应变异策略,设计自适应变异综合粒子群优化(CLPSO-M)算法。多个标准测试问题的对比实验数据表明,CLPSO-M算法比CLPSO算法的全局搜索能力更强,求解效果更稳定。 展开更多
关键词 群体智能 粒子群优化算法 综合学习 最小方差优先 自适应变异
在线阅读 下载PDF
自适应子空间高斯学习的粒子群优化算法 被引量:7
13
作者 孙辉 朱德刚 +1 位作者 王晖 赵嘉 《南昌工程学院学报》 CAS 2015年第4期31-42,69,共13页
为了克服粒子群优化算法在复杂优化问题上易出现早熟收敛、多样性缺失等问题,提出了自适应子空间高斯学习的粒子群优化算法。该方法提出了适应值离散度和子空间高斯学习的概念,以自适应地调整参数和搜索策略,帮助粒子逃离局部最优。同时... 为了克服粒子群优化算法在复杂优化问题上易出现早熟收敛、多样性缺失等问题,提出了自适应子空间高斯学习的粒子群优化算法。该方法提出了适应值离散度和子空间高斯学习的概念,以自适应地调整参数和搜索策略,帮助粒子逃离局部最优。同时,该方法还提出邻域学习策略,引入了邻域最优粒子。当前粒子的邻域在进化过程中通过动态构建,以增强种群的多样性。实验对19个常用的经典基准测试函数在30和100维进行了测试,结果表明该算法在收敛速度和寻优精度上优于一些知名的PSO算法。最后,将改进的算法应用于无线传感器网络覆盖优化问题,获得了较好的结果。 展开更多
关键词 粒子群优化算法 子空间 适应值离散度 高斯学习 无线传感器网络
在线阅读 下载PDF
自适应学习因子的混沌二进制粒子群优化算法 被引量:13
14
作者 邱飞岳 王京京 《浙江工业大学学报》 CAS 北大核心 2020年第4期411-417,共7页
针对二进制粒子群优化算法存在求解精度低的问题,提出一种自适应学习因子的混沌二进制粒子群优化算法(SABPSO)。首先,SABPSO算法采用混沌策略初始化粒子种群;其次,根据适应度值以及当前粒子与最优粒子间距离设计粒子成长因子,反映种群... 针对二进制粒子群优化算法存在求解精度低的问题,提出一种自适应学习因子的混沌二进制粒子群优化算法(SABPSO)。首先,SABPSO算法采用混沌策略初始化粒子种群;其次,根据适应度值以及当前粒子与最优粒子间距离设计粒子成长因子,反映种群的进化状态;再次,通过成长因子和迭代次数设计自适应学习因子更新机制;最后,实验结果表明:在4个经典测试函数上SABPSO算法具有更有效的收敛性能。 展开更多
关键词 混沌二进制 粒子群优化算法 成长因子 自适应学习因子
在线阅读 下载PDF
自适应策略优化的粒子群优化算法在神经网络架构搜索中的应用
15
作者 程金芮 金瑾 +3 位作者 张朝龙 孔超 何嘉 张鑫 《计算机应用》 CSCD 北大核心 2024年第S01期60-64,共5页
针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与... 针对神经网络架构搜索(NAS)任务,提出一种自适应重启策略驱动的协作学习粒子群优化(ARCLPSO)算法。算法核心流程包括协作学习与信息共享、策略切换和参数自适应,以改进传统粒子群优化(PSO)算法在NAS中的性能。ARCLPSO算法结合了全局与局部信息的协同作用和智能切换学习策略。具体地,ARCLPSO利用全局和局部信息的协同作用令粒子向更优的方向移动,通过智能的切换粒子学习策略平衡粒子的搜索性能和收敛速度,提高搜索速度和搜索质量。在NAS-Bench-101数据集上的实验结果表明,ARCLPSO的收敛时间相较于传统进化算法(REA)和随机搜索(RS),分别减少了40.9%和55.2%。 展开更多
关键词 神经网络架构搜索 粒子群优化 进化算法 NAS-Bench-101 自适应的协作学习算法
在线阅读 下载PDF
基于自适应鱼鹰优化算法的无人机路径规划
16
作者 岑哲 符强 童楠 《电光与控制》 CSCD 北大核心 2024年第11期26-33,67,共9页
针对启发式算法在无人机路径规划中存在收敛精度低以及容易陷入局部最优的问题,提出了一种自适应鱼鹰优化算法。该算法首先利用Bernoulli混沌映射初始化种群,增加种群多样性;其次引入余弦自适应因子平衡全局搜索和局部开发能力,并结合... 针对启发式算法在无人机路径规划中存在收敛精度低以及容易陷入局部最优的问题,提出了一种自适应鱼鹰优化算法。该算法首先利用Bernoulli混沌映射初始化种群,增加种群多样性;其次引入余弦自适应因子平衡全局搜索和局部开发能力,并结合莱维飞行策略自适应调整步长,帮助鱼鹰个体更好地跳出局部最优;接着通过折射反向学习策略改善全局最优解的质量,提高收敛精度和速度;然后将其与其他5种算法在15个CEC2005测试函数中进行性能对比实验,结果表明该算法在收敛精度和稳定性方面表现出色;最后将其移植应用于无人机路径规划问题,在6峰、9峰和12峰的地形障碍模型下进行测试。仿真结果显示,在不同地形场景下自适应鱼鹰优化算法较其他算法平均代价更低、标准差更小,且生成的路径更短、更平稳。 展开更多
关键词 无人机 路径规划 鱼鹰优化算法 Bernoulli混沌映射 余弦自适应因子 莱维飞行 折射反向学习
在线阅读 下载PDF
用于训练神经网络的自适应梯度下降优化算法 被引量:4
17
作者 阮乐笑 《哈尔滨商业大学学报(自然科学版)》 CAS 2024年第1期25-31,共7页
由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小... 由于神经网络规模的扩大,模型训练变得越来越困难.为应对这一问题,提出了一种新的自适应优化算法——Adaboundinject.选取Adam的改进算法Adabound算法,引入动态学习率边界,实现了自适应算法向随机梯度下降(SGD)的平稳过渡.为了避免最小值的超调,减少在最小值附近的振荡,在Adabound的二阶矩中加入一阶矩,利用短期参数更新作为权重,以控制参数更新.为了验证算法性能,在凸环境下,通过理论证明了Adaboundinject具有收敛性.在非凸环境下,进行了多组实验,采用了不同的神经网络模型,通过与其他自适应算法对比,验证了该算法相比其他优化算法具有更好的性能.实验结果表明,Adaboundinject算法在深度学习优化领域具有重要的应用价值,能够有效提高模型训练的效率和精度. 展开更多
关键词 深度学习 自适应优化算法 神经网络模型 图像识别 动态学习率边界 短期参数更新
在线阅读 下载PDF
多策略改进蜣螂优化算法及其应用
18
作者 盛斌 张军 《制造技术与机床》 北大核心 2025年第3期65-76,共12页
为了改善标准蜣螂优化算法(dung beetle optimization,DBO)的收敛精度低、稳定性不足和易陷入局部最优等问题,提出了多策略改进蜣螂优化(multi-strategy improved dung beetle optimization,MSIDBO)算法。首先,使用融合Fun混沌与逆向学... 为了改善标准蜣螂优化算法(dung beetle optimization,DBO)的收敛精度低、稳定性不足和易陷入局部最优等问题,提出了多策略改进蜣螂优化(multi-strategy improved dung beetle optimization,MSIDBO)算法。首先,使用融合Fun混沌与逆向学习策略初始化蜣螂种群,增加种群多样性和随机性;其次,引进鱼鹰算法的第一阶段的全局勘探策略替换蜣螂滚球阶段的位置更新,弥补蜣螂算法在滚球阶段依赖最差值,加快算法的求解速度和求解精度;再次,根据小蜣螂觅食位置更新引入自适应步长策略与凸透镜成像策略的集成,提高了算法全局开发和局部探索的能力;最后,对偷窃蜣螂的觅食行为进行自适应t分布扰动,使得算法更快跳出局部最优。将MSIDBO和其他算法在14个函数上进行测试,结果表明相对于其他群智能优化算法,MSIDBO的寻优能力、收敛能力等明显高于其他算法。将改进的算法用于压力弹簧设计优化问题,进一步证明改进后的算法具有较好的优化性能。 展开更多
关键词 蜣螂优化算法 逆向学习 自适应步长 凸透镜成像 T分布
在线阅读 下载PDF
带有校正项的自适应梯度下降优化算法 被引量:1
19
作者 黄建勇 周跃进 《哈尔滨商业大学学报(自然科学版)》 CAS 2024年第2期200-207,共8页
基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也... 基于批处理的随机梯度下降(SGD)优化算法通常用于训练卷积神经网络(CNNs),其性能的优劣直接影响神经网络收敛的速度.近年来,一些自适应梯度下降优化算法被提出,如Adam、Radam算法等.然而,这些优化算法既没有利用历史迭代的梯度范数,也没有利用随机子样本中梯度的二阶矩,这些导致自适应梯度下降优化算法收敛速度较慢,性能也不稳定.结合历史梯度范数和梯度的二阶矩,提出了一种新的自适应梯度下降优化算法normEve.通过模拟仿真实验,实验结果表明,提出的新算法在结合历史梯度范数和梯度二阶矩的情形下能有效地提高算法的收敛速度.通过实例验证新算法与Adam优化算法比较,新算法的测试准确率大于Adam优化算法,验证了新算法的优越性. 展开更多
关键词 梯度下降 神经网络 梯度范数 自适应学习 分类 优化算法
在线阅读 下载PDF
适应度反向学习的平衡灰狼算法及其应用
20
作者 杨宸 张玮 +2 位作者 许鑫 张振喜 高暾 《计算机工程与设计》 北大核心 2024年第4期1047-1055,共9页
针对传统灰狼优化算法位置更新时勘探与开发失衡,收敛速度慢且陷入局部最优的问题,提出一种改进的灰狼算法(balanced grey wolf algorithm based on fitness back learning,BGWO),引入非线性控制参数,增强算法前期勘探能力,加速收敛;在... 针对传统灰狼优化算法位置更新时勘探与开发失衡,收敛速度慢且陷入局部最优的问题,提出一种改进的灰狼算法(balanced grey wolf algorithm based on fitness back learning,BGWO),引入非线性控制参数,增强算法前期勘探能力,加速收敛;在种群迭代阶段采用重心反向学习的最优适应度权重更新策略,平衡算法的勘探与开发。16组基准函数测试结果表明,改进后算法能自适应跳出局部最优,在加快算法收敛速度的同时提高全局收敛能力与精度。将BGWO应用于PV型旋风分离器粒级效率GBDT(gradient boosting decision tree)的建模,提高了GBDT的精度,模型相关系数0.980,均方误差0.00079,BGWO-GBDT与GBDT、PSO-GBDT和GWO-GBDT相对比,建模精度和稳定性明显提高,验证了BGWO的有效性。 展开更多
关键词 灰狼优化算法 勘探与开发 非线性控制 适应度反向学习 基准函数测试 梯度提升决策树 旋风分离器效率模型
在线阅读 下载PDF
上一页 1 2 12 下一页 到第
使用帮助 返回顶部