-
题名基于梯度权值追踪的域自适应分类研究
- 1
-
-
作者
崔绍君
季繁繁
王婷
袁晓彤
-
机构
南京信息工程大学自动化学院
南京信息工程大学数字取证教育部工程研究中心
南京信息工程大学江苏省大数据分析技术重点实验室
南京信息工程大学计算机学院
-
出处
《南京信息工程大学学报》
北大核心
2025年第2期203-214,共12页
-
基金
科技创新2030-“新一代人工智能”重大项目(2018AAA0100400)
国家自然科学基金(U21B2049,61936005)。
-
文摘
本文提出一种基于梯度权值追踪的剪枝与优化算法(GWP),旨在解决无监督领域中存在的过拟合问题,即在下游任务上的精度远低于在训练集上的精度.针对无监督领域自适应中基于差异与基于对抗的方法,将稠密-稀疏-稠密策略应用于解决过拟合问题.先对网络进行密集预训练,并学出哪些连接是重要的;在剪枝阶段,与原有的稠密-稀疏-稠密策略中的剪枝过程不同,本文的优化算法同时将权值和梯度联合考虑,既考虑到了权值信息(即零阶信息),也考虑到了梯度信息(即一阶信息)对网络剪枝过程的影响;在重密集阶段,恢复被修剪的连接,并以较小的学习率重新训练密集网络.最终,得到的网络在下游任务上取得了理想的效果.实验结果表明,与原有的基于差异和基于对抗的领域自适应方法相比,本文提出的GWP可以有效提升下游任务精度,且具有即插即用的效果.
-
关键词
梯度权值追踪
无监督领域自适应
稠密-稀疏-稠密
过拟合
零阶信息
一阶信息
-
Keywords
gradient weight pursuit(GWP)
unsupervised domain adaptation(UDA)
dense-sparse-dense(DSD)
overfitting
zero-order information
first-order information
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
