-
题名深度学习步长自适应动量优化方法研究综述
被引量：3
- 1
-
-
作者
陶蔚
陇盛
刘鑫
胡亚豪
黄金才
-
机构
军事科学院战略评估咨询中心
国防科技大学大数据与决策重点实验室
陆军工程大学指挥控制工程学院
-
出处
《小型微型计算机系统》
北大核心
2025年第2期257-265,共9页
-
基金
国家自然科学基金项目(62106281)资助。
-
文摘
当前,以深度神经网络和预训练模型为基础的生成式人工智能受到学术界和工业界的普遍关注.深度学习的研究达到前所未有的高度.自2015年提出以来,无论是图像、语音还是文本等领域,以Adam为代表的自适应动量优化方法,因其快速的收敛速度、适应各种梯度和参数变化的能力,已经成为深度学习训练的首选方法,但是仍然存在:1)算法的全局收敛性较差;2)参数选择策略与理论分析不一致;3)针对不同任务的泛化性能有待进一步提升.为分析并解决以上挑战,研究者们分别使用自适应步长和动量两种优化技巧对自适应动量方法进行了大量研究.本文是这一类方法的研究综述,首先回顾了深度学习优化的发展背景与面临的挑战,重点介绍了一阶梯度条件下的自适应步长方法、动量算法、步长自适应动量算法、大模型中的应用等,尤其是针对凸情形下收敛性研究进展进行了系统梳理,最后展望了步长自适应动量算法未来发展方向.
-
关键词
深度学习
优化算法
动量
自适应步长
收敛性
-
Keywords
deep learning
optimization method
adaptive stepsize
momentum
convergence
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名面向随机并发任务的杀伤网建模与最优控制方法
被引量：12
- 2
-
-
作者
吴克宇
冯旸赫
黄金才
刘忠
-
机构
国防科技大学大数据与决策重点实验室
国防科技大学电子科学学院
-
出处
《指挥与控制学报》
CSCD
2023年第4期487-494,共8页
-
基金
国家自然科学基金(62001495)
中国博士后科学基金(48919)资助。
-
文摘
围绕随机并发任务场景,开展杀伤网建模和最优控制方法研究,提出了基于随机受控Petri网模型的杀伤网形式化建模方法,用以描述随机并发目标打击任务下的杀伤网的运行逻辑,以及在不同杀伤链选择动作下杀伤网状态的动态变化过程;针对最优杀伤链选择策略求解问题,提出了基于马尔科夫决策过程的最优策略构造范式和基于深度强化学习的最优策略求解方法.研究结果可为复杂对抗场景下的作战体系建模分析和优化控制的相关工作提供理论模型基础.
-
关键词
杀伤网
建模分析
优化控制
PETRI
网
强化学习
-
Keywords
a kill web
modeling and analysis
optimal control
Petri net
reinforcement learning
-
分类号
E91
[军事]
-
