-
题名基于原型回放和动态更新的类增量学习方法
- 1
-
-
作者
张禹
曹熙卿
钮赛赛
许鑫磊
张倩
王喆
-
机构
华东理工大学信息科学与工程学院
上海航天控制技术研究所
中国航天科技集团公司红外探测技术研发中心
-
出处
《计算机科学》
CSCD
北大核心
2023年第S02期14-20,共7页
-
基金
上海市科技计划项目(21511100800,20511100600)
国家自然科学基金项目(62076094)
+1 种基金
国防科技领域基金项目(2021-JCJQ-JJ-0041)
中国航天科技集团公司第八研究院产学研合作基金资助项目(SAST2021-007)。
-
文摘
灾难性遗忘问题在增量学习场景中普遍存在,而对旧知识的遗忘会严重影响模型在整个任务序列上的平均性能。因此,针对在增量学习过程中原型偏移引起的旧知识遗忘问题,提出了一种基于原型回放和动态更新的类增量学习方法。该方法在原型更新阶段保留新类的原型后,进一步采用动态更新策略对旧类的原型进行实时更新。具体地,在学习新任务后,该策略基于当前可访问数据的已知偏移,来实现在旧类原型中存在的未知偏移的近似估计,并最终完成对旧类原型的更新,从而缓解原始的旧类原型与当前的特征映射间的不匹配。在CIFAR-100和Tiny-ImageNet数据集上的实验结果表明,所提出的基于原型回放和动态更新的类增量学习方法能够有效地减少对旧知识的灾难性遗忘,提高模型在类增量学习场景中的分类性能。
-
关键词
类增量学习
原型更新
知识蒸馏
原型回放
灾难性遗忘
-
Keywords
Class incremental learning
Prototype update
Knowledge distillation
Prototype replay
Catastrophic forgetting
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
