期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
2
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
基于AdaGrad自适应策略的对偶平均方法
被引量：
1
1
作者
张旭
韦洪旭
《舰船电子工程》
2022年第9期41-44,53,共5页
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去...
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去。对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白。论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果。
展开更多
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
在线阅读
下载PDF
职称材料
基于AdaGrad自适应DA方法的最优个体收敛速率
2
作者
张旭
韦洪旭
《兵工自动化》
2023年第11期49-55,共7页
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推...
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/√t)的最优个体收敛速率,为其提供了理论支撑。
展开更多
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
在线阅读
下载PDF
职称材料
题名
基于AdaGrad自适应策略的对偶平均方法
被引量：
1
1
作者
张旭
韦洪旭
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
出处
《舰船电子工程》
2022年第9期41-44,53,共5页
基金
国家自然科学基金项目(编号:62076252)资助。
文摘
AdaGrad将自适应矩阵应用到随机梯度下降法中,大大降低了工程上超参数搜索的高昂代价。AdaGrad不仅提供了优化方法自适应的研究思路,而且引领了深度学习优化方法新的研究方向,人们越来越多地考虑将自适应策略加入到优化算法的设计中去。对偶平均方法能够克服随机梯度下降法迭代后期收敛缓慢的固有弊端,并相较而言具有较高的收敛稳定性和灵活的步长策略,但自适应的对偶平均方法仍是空白。论文通过分析随机梯度下降法和对偶平均方法性能差异的本质原因,在保留对偶平均方法优势的基础上,将AdaGrad的自适应矩阵融入到方法框架中去,形成一种自适应的对偶平均方法:AdaDA,并通过一般凸函数优化分类实验验证算法的可行性与预期效果。
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
Keywords
optimization algorithm
gradient descent
dual average method
AdaGrad
adaptive matrix
分类号
TP301.6 [自动化与计算机技术—计算机系统结构]
在线阅读
下载PDF
职称材料
题名
基于AdaGrad自适应DA方法的最优个体收敛速率
2
作者
张旭
韦洪旭
机构
中国人民解放军陆军炮兵防空兵学院信息工程系
出处
《兵工自动化》
2023年第11期49-55,共7页
基金
国家自然科学基金(62076252)。
文摘
针对AdaGrad将自适应矩阵应用到随机梯度下降法中降低工程上超参数搜索的问题,提出一种自适应对偶平均方法。将AdaGrad自适应矩阵引入到对偶平均方法框架中,形成自适应的对偶平均方法,并通过凸优化实验验证其可行性和收敛效果。数学推导结果表明:对于非光滑条件下的一般凸函数AdaDA方法可以达到与维数相关O(1/√t)的最优个体收敛速率,为其提供了理论支撑。
关键词
优化算法
梯度下降
对偶平均方法
AdaGrad
自适应矩阵
Keywords
optimization algorithm
gradient descent
dual average method
AdaGrad
adaptive matrix
分类号
TP273 [自动化与计算机技术—检测技术与自动化装置]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
基于AdaGrad自适应策略的对偶平均方法
张旭
韦洪旭
《舰船电子工程》
2022
1
在线阅读
下载PDF
职称材料
2
基于AdaGrad自适应DA方法的最优个体收敛速率
张旭
韦洪旭
《兵工自动化》
2023
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
