-
题名跨模态语义时空动态交互情感分析研究
被引量：1
- 1
-
-
作者
屈立成
郤丽媛
刘紫君
魏思
董哲为
-
机构
长安大学信息工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第1期165-173,共9页
-
基金
陕西省哲学社会科学重大理论与现实问题研究项目(2022HZ1387)
国家重点研发计划(2019YFE0108300)
+1 种基金
国家自然科学基金(62001058)
陕西省自然科学基础研究计划(2020JM-258)。
-
文摘
针对传统情感分析中存在的模态间交互性差、时空特征融合度低的问题,建立了一种跨模态的语义时空动态交互网络。通过引入双向长短期记忆网络挖掘各模态的时间序列特征,加入自注意力机制强化模态内特征的权重赋值,将自动筛选出的特征矩阵送入图卷积神经网络进行语义交互。然后以时间戳为基础进行特征聚合,计算聚合层的相关系数,获得融合后的联合特征,实现跨模态空间交互,最终完成情感极性的分类与预测。使用公开数据集对所提出的模型进行评估验证,实验结果表明,多模态时间序列提取和跨模态语义空间交互机制可以实现模态内和模态间特征的全动态融合,有效地提升了情感分类的准确率和F1值,在CMU-MOSEI数据集上分别提高了1.7%~13.5%和2.1%~14.0%,表现出良好的健壮性和先进性。
-
关键词
跨模态情感分析
语义交互
时空交互
双向长短期记忆网络
图卷积网络
-
Keywords
cross modal sentiment analysis
semantic interaction
spatio-temporal interaction
bi-directional long short-term memory
graph convolutional network
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
