-
题名面向多模态情感分析的双模态交互注意力
被引量：12
- 1
-
-
作者
包广斌
李港乐
王国雄
-
机构
兰州理工大学计算机与通信学院
-
出处
《计算机科学与探索》
CSCD
北大核心
2022年第4期909-916,共8页
-
基金
国家自然科学基金(51668043)
甘肃省自然科学基金(18JR3RA156)。
-
文摘
针对现有多模态情感分析方法中存在情感分类准确率不高,难以有效融合多模态特征等问题,通过研究分析相邻话语之间的依赖关系和文本、语音和视频模态之间的交互作用,建立一种融合上下文和双模态交互注意力的多模态情感分析模型。该模型首先采用双向门控循环单元(BiGRU)捕获各模态中话语之间的相互依赖关系,得到各模态的上下文信息。为了学习不同模态之间的交互信息,提出了一种双模态交互注意力机制来融合两种模态的信息,并将其作为条件向量来区分各模态信息对于情感分类的重要程度;然后结合自注意力、全连接层组成多模态特征融合模块,挖掘模态内部和模态之间的关联性,获得跨模态联合特征。最后,将得到的上下文特征和跨模态联合特征进行拼接,经过一层全连接层后馈送至Softmax进行最终的情感分类。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,相比现有模型,该模型在多模态情感分类任务上的表现是有效的和先进的。
-
关键词
多模态
情感分析
双向门控循环单元(BiGRU)
上下文
双模态交互注意力
特征融合
-
Keywords
multimodal
sentiment analysis
bidirectional gated recurrent unit(BiGRU)
context
bimodal interactive attention
feature fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
