-
题名深度学习中结合哈密顿力学的神经网络研究进展
被引量：1
- 1
-
-
作者
梁永琦
白双成
张志一
-
机构
内蒙古师范大学计算机科学技术学院
-
出处
《计算机工程与应用》
北大核心
2025年第14期20-36,共17页
-
基金
国家社科基金(20XYY027)
内蒙古自治区自然科学基金重点项目(2023ZD10,2022ZD05)
内蒙古自治区高等学校创新团队发展计划支持项目(NMGIRT2414)。
-
文摘
基于哈密顿力学的神经网络已经成为自然语言处理领域的一个重要研究方向,它不仅能够解决深度学习一直以来有关梯度消失的问题,同时也为研究人员提供一个探索神经网络的可解释性和解决当前深度学习困难问题的新思路。其利用经典力学原理,通过哈密顿函数更新网络状态,并借助能量守恒特性,有效提高模型准确率,并对解决深度学习中的梯度问题也做出了重要贡献。简要概述哈密顿力学引导深度学习的主要动机和理论基础;针对结合哈密顿力学的神经网络进行详细讨论,总结其特点、应用场景与局限性。最后,讨论分析哈密顿力学与神经网络的结合在自然语言处理领域中的问题与挑战,并对未来发展进行展望,为进一步的研究提供参考。
-
关键词
哈密顿力学
梯度消失
神经网络
自然语言处理
-
Keywords
Hamiltonian dynamics
gradient vanishing
neural networks
natural language processing
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
