-
题名诊断和提高迁移学习模型鲁棒性的可视分析方法
- 1
-
-
作者
刘真
颜菁
吴兆国
林菲
吴向阳
-
机构
杭州电子科技大学计算机学院
-
出处
《计算机辅助设计与图形学学报》
北大核心
2025年第6期1073-1087,共15页
-
基金
浙江省自然科学基金(LY22F020023)
浙江省自然科学基金重点项目(LZ22F020015)
国家自然科学基金面上项目(61972122)。
-
文摘
虽然迁移学习可以使开发人员根据复杂的预训练模型(教师模型)构建符合目标任务的自定义模型(学生模型),但是迁移学习中的学生模型可能会继承教师模型中的缺陷,而模型鲁棒性是作为衡量模型缺陷继承的重要指标之一.在迁移学习领域中,通常会运用缺陷缓解或学生模型和教师模型联合训练的方法,达到减少继承教师模型的缺陷知识目的.因此,文中提出一种用于探索迁移学习过程中模型鲁棒性变化情况的可视分析方法,并构建了相应的原型系统——TLMRVis.该方法首先计算了学生模型的鲁棒性能指标;其次在数据实例层面展示模型各类别的表现性能;然后在实例特征层面通过模型抽象化方式去揭示教师模型和学生模型之间继承的重用知识;最后结合模型切片方法改善模型的缺陷继承用以提高模型鲁棒性.同时, TLMRVis系统不仅结合多种可视化方法展示多种学生模型和教师模型之间的异同点,而且通过引入缺陷缓解技术来查看和诊断教师模型和学生模型的性能变化和底层预测行为机制. 2个案例的实验结果表明, TLMRVis系统可以帮助用户分析迁移学习中模型的鲁棒性、模型继承的缺陷知识和模型缺陷改善后的性能变化.
-
关键词
迁移学习
可视分析
模型鲁棒性
缺陷继承
缺陷缓解
-
Keywords
transfer learning
visual analysis
model robustness
defect inheritance
defect mitigation
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
