现有的领域自适应方法过于关注源域的细粒度特征学习,从而削弱了相关方法有效推广到目标域的能力,导致这些方法容易在特定的环境中过度拟合,且缺乏对复杂环境的鲁棒性。为了解决上述问题,提出一个融合环境标签平滑与核范数差异(ELSND)...现有的领域自适应方法过于关注源域的细粒度特征学习,从而削弱了相关方法有效推广到目标域的能力,导致这些方法容易在特定的环境中过度拟合,且缺乏对复杂环境的鲁棒性。为了解决上述问题,提出一个融合环境标签平滑与核范数差异(ELSND)的领域自适应模型。所提模型通过环境标签平滑模块,减小真实标签的概率,增大非真实标签的概率,进而增强模型对不同场景的适应性。同时,运用核范数差异模块度量源域与目标域的分布差异,从而提高决策边界处样本的分类确定性。在Office-31、Office-Home和MiniDomainNet这3个领域的自适应基准数据集上进行大量实验。结果表明,与先进的基线模型DomainAdaptor-Aug(DomainAdaptor with generalized entropy minimization-Augmentation)在MiniDomainNet数据集上相比,ELSND模型在图像分类领域自适应任务上的精确度提升了1.23个百分点。因此,所提模型在图像分类时具有更高的精确度和泛化性。展开更多
为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refineme...为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refinement for multi-modal sentiment analysis),可以有效地解决多模态语义不对齐、语义噪声等问题,实现多模态数据更好地交互融合。使用多模态特征嵌入模块(multi-modal feature embedding,MFE)增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块(inter-modal semantic alignment,ISA)进行双模态时间维度的对齐。通过一个模态内的信息细化模块(intra-modal information refinement,IIR)进行情感解析和情感细化。通过多模态门控融合模块(multi-modal gated fusion,MGF)实现模态的有效融合。在流行的多模态情感分析数据集上进行实验,证明了CM-SAIR框架与最先进的基线相比的优势。展开更多
文摘现有的领域自适应方法过于关注源域的细粒度特征学习,从而削弱了相关方法有效推广到目标域的能力,导致这些方法容易在特定的环境中过度拟合,且缺乏对复杂环境的鲁棒性。为了解决上述问题,提出一个融合环境标签平滑与核范数差异(ELSND)的领域自适应模型。所提模型通过环境标签平滑模块,减小真实标签的概率,增大非真实标签的概率,进而增强模型对不同场景的适应性。同时,运用核范数差异模块度量源域与目标域的分布差异,从而提高决策边界处样本的分类确定性。在Office-31、Office-Home和MiniDomainNet这3个领域的自适应基准数据集上进行大量实验。结果表明,与先进的基线模型DomainAdaptor-Aug(DomainAdaptor with generalized entropy minimization-Augmentation)在MiniDomainNet数据集上相比,ELSND模型在图像分类领域自适应任务上的精确度提升了1.23个百分点。因此,所提模型在图像分类时具有更高的精确度和泛化性。
文摘为了解决多模态情感分析中存在异构鸿沟和语义鸿沟,以及模态无法有效融合等问题,提出了一个新的框架,基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR(cross-modal semantic alignment and information refinement for multi-modal sentiment analysis),可以有效地解决多模态语义不对齐、语义噪声等问题,实现多模态数据更好地交互融合。使用多模态特征嵌入模块(multi-modal feature embedding,MFE)增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块(inter-modal semantic alignment,ISA)进行双模态时间维度的对齐。通过一个模态内的信息细化模块(intra-modal information refinement,IIR)进行情感解析和情感细化。通过多模态门控融合模块(multi-modal gated fusion,MGF)实现模态的有效融合。在流行的多模态情感分析数据集上进行实验,证明了CM-SAIR框架与最先进的基线相比的优势。
