-
题名一种基于块平均正交权重修正的连续学习算法
- 1
-
-
作者
廖丁丁
刘俊峰
曾君
邱晓欢
-
机构
华南理工大学自动化科学与工程学院
华南理工大学电力学院
广州铁路职业技术学院科技产业处
-
出处
《计算机工程》
北大核心
2025年第6期57-64,共8页
-
基金
国家自然科学基金(62173148,52377186)
广东省普通高校重点领域专项(新一代信息技术)(2021ZDZX1136)。
-
文摘
连续学习能力是人类智能行为的一个重要的方面,可使人类具有持续获取新知识的能力。然而,大量的研究表明,当前常规的深度神经网络并不具备这样的连续学习能力,它们在序列学习新任务后,往往会对已学习的任务产生灾难性遗忘,从而无法持续地积累新知识,这限制了智能水平的进一步提升。因而,使深度神经网络具备连续学习能力是达成强人工智能技术的一项重要课题。提出一种基于块平均正交权重修正的连续学习算法(B-OWM)。该算法采用具有极优值分块数的输入样本块平均向量组作为输入空间的表示,结合正交权重修正(OWN)思想来更新网络参数,使得深度神经网络模型在学习新任务时可以克服对已学习知识的灾难性遗忘。在多个数据集上进行的大量任务不相交类增量连续学习实验表明,B-OWM在连续学习性能上显著优于OWM算法,尤其在大批次数连续学习场景中,测试精度提升率可达80%。
-
关键词
连续学习
正交权重修正
深度学习
正则化
灾难性遗忘
-
Keywords
continuous learning
Orthogonal Weight Modification(OWM)
deep learning
regularization
catastrophic forgetting
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名结合本征脸与正交权重修正的连续学习算法
- 2
-
-
作者
廖丁丁
刘俊峰
曾君
徐诗康
-
机构
华南理工大学自动化科学与工程学院
华南理工大学电力学院
-
出处
《计算机工程与应用》
北大核心
2025年第14期230-237,共8页
-
基金
国家自然科学基金(62173148,52377186)。
-
文摘
常规的深度神经网络在连续学习中表现出对已学习知识的灾难性遗忘。近年来正交权重修正(orthogonal weight modified,OWM)被认为是一种行之有效的连续学习算法,然而其在大批次数数据集中表现出较差的连续学习性能,且对随机样本的选择极为敏感。针对上述问题,提出一种基于本征脸法与正交权重修正相结合的连续学习算法(BZL-OWM)。本征脸法用来改善神经网络层的输入空间表示,使得权重参数能在更准确的正交方向上进行权重修正,从而实现更优的连续学习性能。在多个数据集上进行的大量类增量连续学习实验表明,BZL-OWM算法的连续学习能力显著优于原OWM算法,尤其在大批次数场景中的平均测试精度提升率可达50%。
-
关键词
连续学习
深度学习
类增量学习
正交权重修正(OWM)
-
Keywords
continuous learning
deep learning
class incremental learning
orthogonal weight modified(OWM)
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名面向合成语音检测的弹性正交权重修正连续学习算法
- 3
-
-
作者
张晓辉
易江燕
陶建华
周俊佐
-
机构
中国科学院自动化研究所
北京交通大学计算机与信息技术学院
清华大学自动化系
-
出处
《计算机研究与发展》
北大核心
2025年第2期336-345,共10页
-
基金
国家重点研发计划项目(2020AAA0140003)
国家自然科学基金项目(61831022,U21B2010,61901473,62006223,2101553)。
-
文摘
目前,深度学习在合成语音检测领域取得了巨大的成功.然而,通常情况下,深度模型可以在与训练集分布相似的测试集上取得高准确率,但在跨数据集的情境下,其准确率却会显著下降.为了提高模型在新数据集上的泛化能力,通常需要对其进行微调,但这会导致模型遭受灾难性遗忘.灾难性遗忘指的是模型在新数据上的训练会损害其从旧数据中获得的知识,导致对旧数据的识别性能下降.目前,克服灾难性遗忘的主要算法之一是连续学习.面向合成语音检测提出了一种连续学习算法——弹性正交权重修正(elastic orthogonal weight modification,EOWM),用于克服灾难性遗忘.该算法通过修正模型在学习新知识时的参数更新方向和更新幅度,以减少对已学知识的损害.具体来说,该算法在模型学习新知识时要求参数的更新方向与旧任务的数据分布正交,并同时限制对旧任务中重要参数的更新幅度.在合成语音检测领域的跨数据集实验中,算法取得了良好的效果.与微调相比,该算法在旧数据集上的等错误率(equal error rate,EER)从7.334%降低至0.821%,相对下降了90%;在新数据集上的等错误率从0.513%降低至0.315%,相对下降了40%.
-
关键词
合成语音检测
连续学习
弹性正交权重修正
预训练模型
深度神经网络
-
Keywords
synthetic speech detection
continual learning
elastic orthogonal weight modification
pre-trained model
deep neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
