-
题名一种基于块平均正交权重修正的连续学习算法
被引量：1
- 1
-
-
作者
廖丁丁
刘俊峰
曾君
邱晓欢
-
机构
华南理工大学自动化科学与工程学院
华南理工大学电力学院
广州铁路职业技术学院科技产业处
-
出处
《计算机工程》
北大核心
2025年第6期57-64,共8页
-
基金
国家自然科学基金(62173148,52377186)
广东省普通高校重点领域专项(新一代信息技术)(2021ZDZX1136)。
-
文摘
连续学习能力是人类智能行为的一个重要的方面,可使人类具有持续获取新知识的能力。然而,大量的研究表明,当前常规的深度神经网络并不具备这样的连续学习能力,它们在序列学习新任务后,往往会对已学习的任务产生灾难性遗忘,从而无法持续地积累新知识,这限制了智能水平的进一步提升。因而,使深度神经网络具备连续学习能力是达成强人工智能技术的一项重要课题。提出一种基于块平均正交权重修正的连续学习算法(B-OWM)。该算法采用具有极优值分块数的输入样本块平均向量组作为输入空间的表示,结合正交权重修正(OWN)思想来更新网络参数,使得深度神经网络模型在学习新任务时可以克服对已学习知识的灾难性遗忘。在多个数据集上进行的大量任务不相交类增量连续学习实验表明,B-OWM在连续学习性能上显著优于OWM算法,尤其在大批次数连续学习场景中,测试精度提升率可达80%。
-
关键词
连续学习
正交权重修正
深度学习
正则化
灾难性遗忘
-
Keywords
continuous learning
Orthogonal Weight Modification(OWM)
deep learning
regularization
catastrophic forgetting
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
