最大均值差异(Maximum mean discrepancy,MMD)作为一种能有效度量源域和目标域分布差异的标准已被成功运用.然而,MMD作为一种全局度量方法一定程度上反映的是区域之间全局分布和全局结构上的差异.为此,本文通过引入局部加权均值的方法...最大均值差异(Maximum mean discrepancy,MMD)作为一种能有效度量源域和目标域分布差异的标准已被成功运用.然而,MMD作为一种全局度量方法一定程度上反映的是区域之间全局分布和全局结构上的差异.为此,本文通过引入局部加权均值的方法和理论到MMD中,提出一种具有局部保持能力的投影最大局部加权均值差异(Projected maximum local weighted mean discrepancy,PMLWD)度量,结合传统的学习理论提出基于局部加权均值的领域适应学习框架(Local weighted mean based domain adaptation learning framework,LDAF),在LDAF框架下,衍生出两种领域适应学习方法:LDAF MLC和LDAF SVM.最后,通过测试人工数据集、高维文本数据集和人脸数据集来表明LDAF比其他领域适应学习方法更具优势.展开更多
最大均值差异嵌入(Maximum Mean Discrepancy Embedding,MMDE)作为一种基于最大均值差异(MaximumMean Discrepancy,MMD)度量的特征提取方法被成功地运用.然而通过分析得知,该方法在处理原始输入空间上的特征提取问题时一定程度上缺乏适...最大均值差异嵌入(Maximum Mean Discrepancy Embedding,MMDE)作为一种基于最大均值差异(MaximumMean Discrepancy,MMD)度量的特征提取方法被成功地运用.然而通过分析得知,该方法在处理原始输入空间上的特征提取问题时一定程度上缺乏适应性.因此本文在MMD准则的基础上,并结合已经被广泛研究和探讨的局部学习方法,提出一个新的评价度量:最大局部加权均值差异(Maximum LocalWeightedMean Discrepancy,MLMD),该度量反映源域和目标域分布差异时能充分考虑两个区域内在的局部结构,同时还能通过局部分布差异去反映全局分布差异.本文还在此度量的基础上提出一种能实现迁移学习任务并具有一定局部学习能力的特征提取方法:最大局部加权均值差异嵌入(Maximum Local WeightedMean Discrepancy Embedding,MWME).该方法不但能完成传统意义上的特征提取,同时还能完成在两个分布存在差异但相关的两个区域上实现领域适应学习,从而表明该特征提取方法具有较好的鲁棒性和适应性.实验证明MLMD准则和MWME方法具有上述优势.展开更多
针对领域适应学习(Domain adaptation learning,DAL)问题,提出一种核分布一致局部领域适应学习机(Kernel distribution consistency based local domaina daptation classifier,KDC-LDAC),在某个通用再生核Hilbert空间(Universally repr...针对领域适应学习(Domain adaptation learning,DAL)问题,提出一种核分布一致局部领域适应学习机(Kernel distribution consistency based local domaina daptation classifier,KDC-LDAC),在某个通用再生核Hilbert空间(Universally reproduced kernel Hilbert space,URKHS),基于结构风险最小化模型,KDC-LDAC首先学习一个核分布一致正则化支持向量机(Support vector machine,SVM),对目标数据进行初始划分;然后,基于核局部学习思想,对目标数据类别信息进行局部回归重构;最后,利用学习获得的类别信息,在目标领域训练学习一个适于目标判别的分类器.人造和实际数据集实验结果显示,所提方法具有优化或可比较的领域适应学习性能.展开更多
无监督域适应(Unsupervised Domain Adaptation,UDA)是一类新兴的机器学习范式,其通过对源域知识在无标记目标域上的迁移利用,来促进目标域模型的训练。为建模源域与目标域之间的域分布差异,最大均值差异(Maximum Mean Discrepancy,MMD...无监督域适应(Unsupervised Domain Adaptation,UDA)是一类新兴的机器学习范式,其通过对源域知识在无标记目标域上的迁移利用,来促进目标域模型的训练。为建模源域与目标域之间的域分布差异,最大均值差异(Maximum Mean Discrepancy,MMD)建模被广泛应用,其对UDA的性能提升起到了有效的促进作用。然而,这些方法通常忽视了领域之间对应类规模与类分布等结构信息,因为目标域与源域的数据类规模与数据分布通常并非一致。为此,文中提出了一种基于跨域类和数据样本双重加权的无监督域适应模型(Sample weighted and Class weighted based Unsupervised Domain Adaptation Network,SCUDAN)。具体而言,一方面,通过源域类层面的适应性加权来调整源域类权重,以实现源域与目标域之间的类分布对齐;另一方面,通过目标域样本层面的适应性加权来调整目标域样本权重,以实现目标域与源域类中心的对齐。此外,文中还提出了一种CEM(Classification Expectation Maximization)优化算法,以实现对SCUDAN的优化求解。最后,通过对比实验和分析,验证了所提模型和算法的有效性。展开更多
文摘具有混合记忆的自步对比学习(Self-paced Contrastive Learning,SpCL)通过集群聚类生成不同级别的伪标签来训练网络,取得了较好的识别效果,然而该方法从源域和目标域中捕获的行人数据之间存在典型的分布差异,使得训练出的网络不能准确区别目标域和源域数据域特征。针对此问题,提出了双分支动态辅助对比学习(Dynamic Auxiliary Contrastive Learning,DACL)框架。该方法首先通过动态减小源域和目标域之间的局部最大平均差异(Local Maximum Mean Discrepancy,LMMD),以有效地学习目标域的域不变特征;其次,引入广义均值(Generalized Mean,GeM)池化策略,在特征提取后再进行特征聚合,使提出的网络能够自适应地聚合图像的重要特征;最后,在3个经典行人重识别数据集上进行了仿真实验,提出的DACL与性能次之的无监督域自适应行人重识别方法相比,mAP和rank-1在Market1501数据集上分别增加了6.0个百分点和2.2个百分点,在MSMT17数据集上分别增加了2.8个百分点和3.6个百分点,在Duke数据集上分别增加了1.7个百分点和2.1个百分点。
文摘最大均值差异(Maximum mean discrepancy,MMD)作为一种能有效度量源域和目标域分布差异的标准已被成功运用.然而,MMD作为一种全局度量方法一定程度上反映的是区域之间全局分布和全局结构上的差异.为此,本文通过引入局部加权均值的方法和理论到MMD中,提出一种具有局部保持能力的投影最大局部加权均值差异(Projected maximum local weighted mean discrepancy,PMLWD)度量,结合传统的学习理论提出基于局部加权均值的领域适应学习框架(Local weighted mean based domain adaptation learning framework,LDAF),在LDAF框架下,衍生出两种领域适应学习方法:LDAF MLC和LDAF SVM.最后,通过测试人工数据集、高维文本数据集和人脸数据集来表明LDAF比其他领域适应学习方法更具优势.
文摘领域适应(或跨领域)学习旨在利用源领域(或辅助领域)中带标签样本来学习一种鲁棒的目标分类器,其关键问题在于如何最大化地减小领域间的分布差异.为了有效解决领域间特征分布的变化问题,提出一种三段式多核局部领域适应学习(multiple kernel local leaning-based domain adaptation,简称MKLDA)方法:1)基于最大均值差(maximum mean discrepancy,简称MMD)度量准则和结构风险最小化模型,同时,学习一个再生多核Hilbert空间和一个初始的支持向量机(support vector machine,简称SVM),对目标领域数据进行初始划分;2)在习得的多核Hilbert空间,对目标领域数据的类别信息进行局部重构学习;3)最后,利用学习获得的类别信息,在目标领域训练学习一个鲁棒的目标分类器.实验结果显示,所提方法具有优化或可比较的领域适应学习性能.
文摘无监督域适应(Unsupervised Domain Adaptation,UDA)是一类新兴的机器学习范式,其通过对源域知识在无标记目标域上的迁移利用,来促进目标域模型的训练。为建模源域与目标域之间的域分布差异,最大均值差异(Maximum Mean Discrepancy,MMD)建模被广泛应用,其对UDA的性能提升起到了有效的促进作用。然而,这些方法通常忽视了领域之间对应类规模与类分布等结构信息,因为目标域与源域的数据类规模与数据分布通常并非一致。为此,文中提出了一种基于跨域类和数据样本双重加权的无监督域适应模型(Sample weighted and Class weighted based Unsupervised Domain Adaptation Network,SCUDAN)。具体而言,一方面,通过源域类层面的适应性加权来调整源域类权重,以实现源域与目标域之间的类分布对齐;另一方面,通过目标域样本层面的适应性加权来调整目标域样本权重,以实现目标域与源域类中心的对齐。此外,文中还提出了一种CEM(Classification Expectation Maximization)优化算法,以实现对SCUDAN的优化求解。最后,通过对比实验和分析,验证了所提模型和算法的有效性。
