-
题名基于自适应动量更新策略的Adams算法
被引量：5
- 1
-
-
作者
李满园
罗飞
顾春华
罗勇军
丁炜超
-
机构
华东理工大学信息科学与工程学院
-
出处
《上海理工大学学报》
CAS
CSCD
北大核心
2023年第2期112-119,共8页
-
基金
国家自然科学基金资助项目(62276097)
上海市自然科学基金资助项目(22ZR1416500)
+1 种基金
上海市青年科技英才扬帆计划(20YF1410900)
上海市“科技创新行动计划”(21002411000)。
-
文摘
Adam算法是目前最常用的优化算法之一,但其面临学习率震荡导致模型不收敛问题,其改进算法AMSGrad也存在梯度递减导致的二阶动量失效问题。针对上述问题,提出了基于自适应动量更新策略的Adams算法。首先,通过为一阶动量和二阶动量引入自适应更新参数,并在最后的参数更新期间采用较小的一阶动量更新参数,构建了一种自适应的动量更新策略。其次,基于该更新策略,提出了一种能够快速收敛的Adams算法。最后,通过理论分析证明了Adams算法的收敛性。基于文本分类和图像分类的对比实验表明,相比于Adam和AMSGrad算法,Adams收敛速度更快、训练结果更好,且具有优秀的泛化能力;消融实验证明了Adams算法自适应动量更新策略的有效性。
-
关键词
优化算法
自适应动量更新策略
一阶动量
二阶动量
-
Keywords
optimization algorithm
adaptive momentum update strategy
first-order momentum
second-order momentum
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
