-
题名双模态双向感知下语义信息增强的多模态情感分析
被引量：1
- 1
-
-
作者
曲海成
徐波
-
机构
辽宁工程技术大学软件学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第19期139-147,共9页
-
基金
国家自然科学基金面上项目(42271409)
辽宁省高等学校基本科研项目(LIKMZ20220699)。
-
文摘
针对不同模态间存在情感信息分布不均匀,难以获得更深层次的多模态情感语义信息问题,提出了一种双模态双向感知下语义信息增强的多模态情感分析方法。对文本-视觉模态、文本-音频模态分别融合,捕获双模态话语中的相互依赖关系,获得模态间双向的上下文感知信息;考虑到双模态在融合时产生较多冗余信息,采用门控机制选择有效的情感特征,以提升识别关键情感信息的能力;通过跨模态信息交互机制对多种模态间的信息进行建模,得到语义信息增强的模态特征向量。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估,实验结果表明,该模型的情感分析结果优于大多数现有先进的多模态情感分析方法,能够有效提升情感分析的性能。
-
关键词
多模态情感分析
双模态双向感知
门控机制
信息增强
-
Keywords
multimodal sentiment analysis
bimodal bidirectional perception
gating mechanism
information enhancement
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
