-
题名基于密集协同注意力的多模态情感分析
- 1
-
-
作者
周世向
于凯
-
机构
新疆大学计算机科学与技术学院
新疆财经大学公共管理学院
-
出处
《计算机工程》
北大核心
2025年第11期144-151,共8页
-
基金
新疆维吾尔自治区社会科学基金(21BTQ162)
新疆维吾尔自治区重点研发计划项目(2023B01032)。
-
文摘
随着社交网络的发展,人们越来越多地通过语音、文本、视频等多模态数据表达情感。针对传统情感分析方法无法有效处理短视频内容中的情绪表达,以及现有的多模态情感分析技术存在的诸如准确率较低和模态间交互性不足等问题,提出一种基于密集协同注意力的多模态情感分析方法(DCA-MSA)。首先利用预训练BERT(Bidirectional Encoder Representations from Transformers)模型、OpenFace 2.0模型、COVAREP工具分别提取文本、视频和音频特征,然后使用双向长短期记忆网络(BiLSTM)分别对不同特征内部的时序相关性进行建模,最后通过密集协同注意力机制对不同特征进行融合。实验结果表明,与一些基线模型相比,所提出的模型在多模态情感分析任务中具有一定的竞争力:在CMU-MOSEI数据集上,二分类准确率最高提升3.7百分点,F1值最高提升3.1百分点;在CH-SIMS数据集上,二分类准确率最高提升4.1百分点,三分类准确率最高提升2.8百分点,F1值最高提升3.9百分点。
-
关键词
多模态
情感分析
模态交互
密集协同注意力
特征融合
-
Keywords
multimodal
sentiment analysis
modal interaction
dense co-attention
feature fusion
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
