-
题名结合多粒度视图动态融合的多模态方面级情感分析
被引量：1
- 1
-
-
作者
杨颖
钱馨雨
王合宁
-
机构
合肥工业大学管理学院
过程优化与智能决策教育部重点实验室
智能决策与信息系统技术教育部工程研究中心
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第22期172-183,共12页
-
基金
国家自然科学基金(72071061)。
-
文摘
为了解决以往多模态方面级情感分析研究中存在的特征提取不充分、数据噪声未被有效处理以及多模态数据中的复杂交互被忽视等问题,提出了一种多粒度视图动态融合模型(multi-granularity view dynamic fusion model,MVDFM)。从粗粒度和细粒度两个视角,对文本和图像数据进行向量化编码,以便充分捕捉数据特征,增强模型信息表达能力;提取文本、图像的多粒度视图特征,并设计动态门控自注意力机制,对细粒度级的文本、图像视图进行降噪,进一步保证特征提取质量;为了挖掘不同粒度上多视图之间的互补性和一致性,提出一种三视图分解高阶池化机制,对多粒度视图特征进行两阶段动态融合,得到最终的目标方面词情感极性。实验结果表明,该模型在公共数据集Twitter-2015和Twitter-2017上的准确率和F1值分别达到了78.69%、74.48%以及72.77%、71.61%,相较于最优基线模型分别提升了0.55、0.88个百分点,以及1.67、2.45个百分点。说明该方法能够充分利用多模态数据中包含的深层语义信息,并有效挖掘与目标方面词相关的重要信息,从而提高方面级情感预测效果。
-
关键词
多模态方面级情感分析
动态门控注意力
多粒度视图
动态融合
-
Keywords
multimodal aspect-level sentiment analysis
dynamic gated attention
multi-granularity views
dynamic fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
