-
题名局部一致性主动学习的源域无关开集域自适应
- 1
-
-
作者
王帆
韩忠义
苏皖
尹义龙
-
机构
山东大学软件学院
-
出处
《软件学报》
EI
CSCD
北大核心
2024年第4期1651-1666,共16页
-
基金
国家自然科学基金(62176139)
山东省自然科学基金(ZR2021ZD15)。
-
文摘
无监督域自适应在解决训练集(源域)和测试集(目标域)分布不一致的问题上已经取得了一定的成功.在面向低能耗场景和开放动态任务环境时,在资源约束和开放类别出现的情况下,现有的无监督域自适应方法面临着严峻的挑战.源域无关开集域自适应(SF-ODA)旨在将源域模型中的知识迁移到开放类出现的无标签目标域,从而在无源域数据资源的限制下辨别公共类和检测开放类.现有的源域无关开集域自适应的方法聚焦于设计准确检测开放类别的源域模型或增改模型的结构.但是,这些方法不仅需要额外的存储空间和训练开销,而且在严格的隐私保护场景下难以实现.提出了一个更加实际的场景:主动学习的源域无关开集域自适应(ASF-ODA),目标是基于一个普通训练的源域模型和少量专家标注的有价值的目标域样本来实现鲁棒的迁移.为了达成此目标,提出了局部一致性主动学习(LCAL)算法.首先,利用目标域中局部特征标签一致的特点,LCAL设计了一种新的主动选择方法:局部多样性选择,来挑选更有价值的阈值模糊样本来促进开放类和公共类分离.接着,LCAL基于信息熵初步筛选出潜在的公共类集合和开放类集合,并利用第一步得到的主动标注样本对这两个集合进行匹配纠正,得到两个对应的可信集合.最后,LCAL引入开集损失和信息最大化损失来进一步促使公共类和开放类分离,引入交叉熵损失来实现公共类的辨别.在Office-31、Office-Home和VisDA-C这3个公开的基准数据集上的大量实验表明:在少量有价值的目标域样本的帮助下,LCAL不仅显著优于现有的源域无关开集域自适应方法,还大幅度超过了现有的主动学习方法的表现,在某些迁移任务上可以提升20%.
-
关键词
资源约束
开集识别
源域无关域自适应
开集域自适应
主动学习
-
Keywords
research constraint
open-set recognition
source-free domain adaptation
open-set domain adaptation
active learning
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名伪标签不确定性估计的源域无关鲁棒域自适应
被引量：3
- 2
-
-
作者
王帆
韩忠义
尹义龙
-
机构
山东大学软件学院
-
出处
《软件学报》
EI
CSCD
北大核心
2022年第4期1183-1199,共17页
-
基金
国家自然科学基金(62176139)。
-
文摘
无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被充分探索的问题:源域无关的无监督域自适应,目标是仅依据预训练的源域模型和无标签目标域数据,实现源域向目标域的正向迁移.提出一种基于伪标签不确定性估计的源域无关鲁棒域自适应的方法PLUE-SFRDA(pseudo label uncertainty estimation for source free robust domain adaptation).PLUE-SFRDA的核心思想是:根据源域模型的预测结果,联合信息熵和能量函数充分挖掘目标域数据的隐含信息,探索类原型和类锚点,以准确估计目标域数据的伪标签,进而调优域自适应模型,实现源域数据无关的鲁棒域自适应.PLUESFRDA包含提出的二元软约束信息熵,解决了标准信息熵不能有效估计处于决策边界样本的不确定性的问题,增强了所挖掘的类原型和类锚点的可信度,进而提高了目标域伪标签估计的准确率.PLUE-SFRDA包含了提出的加权对比过滤方法,通过比较每个样本距离该类的类锚点和其他类的类锚点的加权距离,过滤掉处于决策边界的类别信息模糊样本,进一步提高了伪标签不确定性估计的安全性.PLUE-SFDRA还包含一个信息最大化损失,实现源域分类器和伪标签估计器迭代优化,逐渐将源域模型中蕴含的源域知识迁移至目标域,进一步提高了伪标签不确定性估计的鲁棒性.在Office-31,Office-Home和VisDA-C这3个公开的基准数据集上的大量实验表明:PLUE-SFRDA不仅超过了最新的源域无关的域自适应方法的表现,还显著优于现有的依赖源域数据的域自适应方法.
-
关键词
无监督域自适应
源域无关的域自适应
伪标签学习
信息熵
能量函数
不确定性估计
-
Keywords
unsupervised domain adaptation
source-free domain adaptation
pseudo label learning
information entropy
energy function
uncertainty estimation
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
