期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到6篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于AdaGrad自适应策略的对偶平均方法 被引量：1
1
作者 张旭 韦洪旭 《舰船电子工程》 2022年第9期41-44,53,共5页
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去... AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去。对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白。论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果。 展开更多
关键词 优化算法 梯度下降 对偶平均方法 adagrad 自适应矩阵
在线阅读 下载PDF
基于AdaGrad自适应DA方法的最优个体收敛速率
2
作者 张旭 韦洪旭 《兵工自动化》 2023年第11期49-55,共7页
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推... 针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/√t)的最优个体收敛速率,为其提供了理论支撑。 展开更多
关键词 优化算法 梯度下降 对偶平均方法 adagrad 自适应矩阵
在线阅读 下载PDF
基于改进GA-BP算法的RFID天线参数优化方法 被引量：1
3
作者 杨文冬 杨建一 +1 位作者 孙浩强 南敬昌 《微波学报》 CSCD 北大核心 2024年第3期22-28,45,共8页
为了提高算法对天线参数的预测精度,提出了一种基于Adagrad优化器的改进遗传算法-反向传播(GA-BP)算法。通过在迭代过程中引入Adagrad优化器与阈值策略,对发生退化的种群最优个体的位置信息进行重新引导,解决了GA-BP算法局部寻优能力不... 为了提高算法对天线参数的预测精度,提出了一种基于Adagrad优化器的改进遗传算法-反向传播(GA-BP)算法。通过在迭代过程中引入Adagrad优化器与阈值策略,对发生退化的种群最优个体的位置信息进行重新引导,解决了GA-BP算法局部寻优能力不足等问题,大幅度减小了误差损失并且加快了收敛速度。利用该方法对射频识别(RFID)标签天线的印刷品质和电磁参数进行了建模与分析。结果表明,改进GA-BP算法在稳步搜索极值的同时可以避免陷入局部极值陷阱,在误差和收敛效率方面均优于传统的反向传播(BP)算法与GA-BP算法,能够得到较高的预测精度,实现了RFID标签天线印刷品质的优化控制以及S_(11)特征曲线的预测。相比于BP算法与GA-BP算法,改进GA-BP算法在用于优化RFID标签天线的印刷品质时,平均绝对误差分别降低了91.92%和85.64%。在电磁参数预测应用时,分别降低了13.77%和13.19%。 展开更多
关键词 通信技术 射频识别标签天线 改进遗传算法-反向传播算法 adagrad优化器
在线阅读 下载PDF
基于GAD-BP神经网络的短期负荷预测 被引量：12
4
作者 张丹丹 胡钢 +2 位作者 卢静 尹晓东 任其文 《电子测量技术》 2019年第24期143-147,共5页
短期负荷的精准预测可以提高配网运行的安全性、可靠性、经济性,虽然BP神经网络在数据训练和关联记忆方面具有良好应用效果,但其在短期电负荷预测领域存在局部最优解和收敛速度慢的不足。因此,提出了一种改进的BP神经网络算法,首先构建... 短期负荷的精准预测可以提高配网运行的安全性、可靠性、经济性,虽然BP神经网络在数据训练和关联记忆方面具有良好应用效果,但其在短期电负荷预测领域存在局部最优解和收敛速度慢的不足。因此,提出了一种改进的BP神经网络算法,首先构建一个全局化加速BP(globally accelerated BP,GAD-BP)神经网络模型,在模型参数预训练过程中,采用遗传算法全局寻优,通过LM算法优化初始权值。其次结合Adagrad方法逐参数除以迭代历史梯度平方根和来动态调节学习率,使其更快收敛于最优解。最后将GAD-BP与St-BP、LSTM进行仿真对比,结果表明,GAD-BP神经网络模型计算时间短,且预测精度达到了0.981 2×10-3。 展开更多
关键词 短期负荷预测 GAD-BP神经网络 遗传算法 LM算法 adagrad算法
在线阅读 下载PDF
非光滑凸情形Adam 型算法的最优个体收敛速率 被引量：5
5
作者 黄鉴之 丁成诚 +1 位作者 陶蔚 陶卿 《智能系统学报》 CSCD 北大核心 2020年第6期1140-1146,共7页
Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得... Adam是目前深度神经网络训练中广泛采用的一种优化算法框架,同时使用了自适应步长和动量技巧,克服了SGD的一些固有缺陷。但即使对于凸优化问题,目前Adam也只是在线学习框架下给出了和梯度下降法一样的regret界,动量的加速特性并没有得到体现。这里针对非光滑凸优化问题,通过巧妙选取动量和步长参数,证明了Adam的改进型具有最优的个体收敛速率,从而说明了Adam同时具有自适应和加速的优点。通过求解l_(1)范数约束下的hinge损失问题,实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。 展开更多
关键词 机器学习 adagrad算法 RMSProp算法 动量方法 Adam算法 AMSGrad算法 个体收敛速率 稀疏性
在线阅读 下载PDF
比例风险模型下参数极大似然估计的自适应优化算法及其改进算法 被引量：2
6
作者 林文强 《数学杂志》 2020年第3期363-378,共16页
自适应优化算法可避免很多常用数值算法遭遇的困难,例如:高维矩阵求逆问题,初值选取的问题和算法的收敛问题等等.因此,自适应优化算法得到了迅速的发展和广泛的应用,本文研究了比例风险模型下的自适应优化算法.首先利用三种自适应优化算... 自适应优化算法可避免很多常用数值算法遭遇的困难,例如:高维矩阵求逆问题,初值选取的问题和算法的收敛问题等等.因此,自适应优化算法得到了迅速的发展和广泛的应用,本文研究了比例风险模型下的自适应优化算法.首先利用三种自适应优化算法-Adam算法、RMSprop算法、Adagrad算法求解比例风险模型下的参数估计数值解问题,获得了自适应算法的计算优良性.然后,推广了比例风险模型下的Adam算法的研究,发展了一种改进的Adam算法,进一步提高了算法的计算速度并展现了其计算优势. 展开更多
关键词 Adam算法 RMSprop算法 adagrad算法 比例风险模型
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部