-
题名基于自适应图学习权重的多模态情感分析
- 1
-
-
作者
曲海成
徐波
-
机构
辽宁工程技术大学软件学院
-
出处
《智能系统学报》
北大核心
2025年第2期516-528,共13页
-
基金
辽宁省高等学校基本科研项目(LIKMZ20220699).
-
文摘
在多模态情感分析任务中,由于不同模态表现方式的不一致性,模态间的情感信息密度具有较大的差异。为了平衡情感信息在不同模态中分布的不均匀性并减少多模态特征表示的冗余性,提出了一种基于自适应图学习权重的多模态情感分析方法。首先,采用不同的特征提取方法捕获单一模态内的特定信息;其次,将不同模态通过公共编码器映射到同一空间中,利用跨模态注意力机制来显式构建模态间的关联;然后,将每种模态对任务分类的预测值以及模态表示嵌入到自适应图中,通过模态标签学习不同模态对最终分类任务的贡献度来动态调整不同模态之间的权重,以适应主导模态的变化;最后,引入信息瓶颈机制进行去噪,旨在学习一种无冗余的多模态特征表示进行情感预测。在公开的多模态情感分析数据集上对所提出的模型进行了评估。实验结果表明,其有效提升了多模态情感分析的准确性。
-
关键词
多模态
情感分析
模态差异性
信息冗余
自适应图学习
跨模态注意力
相似性约束
信息瓶颈
-
Keywords
multimodal
sentiment analysis
modal differences
information redundancy
adaptive graph learning
cross modal attention
similarity constraints
information bottleneck
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
