-
题名面向情感语义不一致的多模态情感分析方法
- 1
-
-
作者
罗渊贻
吴锐
刘家锋
唐降龙
-
机构
哈尔滨工业大学计算机科学与技术学院
-
出处
《计算机研究与发展》
北大核心
2025年第2期374-382,共9页
-
基金
国家自然科学基金项目(61672190)。
-
文摘
多模态情感分析是利用多种模式的主观信息对情感进行分析判断的一种多模态任务.情感表达具有主观性,在某些场景下不同模态的情感表达不一致,甚至存在相悖的情况,这会削弱多模态协同决策的效果.针对不同模态间情感语义不一致的问题,提出一种多模态学习方法,学习情感语义表达一致的模态特征表示.为了在不影响模态原始信息的同时,提高各模态的共性特征表达并增加模态间的动态交互,首先学习每个模态的共性特征表示,然后利用交叉注意力使单个模态能有效从其余模态的共性特征表示中获取辅助信息.在模态融合模块,以软注意力机制为基础提出模态注意力,对情感语义表达一致的各模态特征表示进行加权连接,以增大强模态的表达,抑制弱模态对任务的影响.提出的模型在情感分析数据集MOSI,MOSEI,CH-SIMS上的实验结果均优于对比模型,表明在多模态情感分析任务中考虑情感语义不一致问题的必要性与合理性.
-
关键词
多模态情感分析
共性特征
情感语义不一致
注意力机制
-
Keywords
multimodal sentiment analysis
common features
sentimental semantic inconsistency
attention mechanism
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-