-
题名联合双粒度图像信息的多模态方面级情感分析
- 1
-
-
作者
许威
张晓琳
张换香
张景
-
机构
内蒙古科技大学数智产业学院
-
出处
《计算机科学与探索》
2025年第9期2479-2492,共14页
-
基金
国家自然科学基金(62466045)
内蒙古自然科学基金(2023MS06012)
内蒙古自治区直属高校基本科研业务费项目(2024QNJS033,2024XKJX019)。
-
文摘
多模态方面级情感分析(MABSA)作为一种细粒度情感分析技术,旨在通过整合多种模态的特征数据来提高该领域的精度和效果。现有的多模态方面级情感分析的研究大多集中在文本和图像模态间的跨模态对齐上,忽略了图像的粗细粒度特征信息对MABSA子任务的潜在贡献。为此,提出一种联合双粒度图像信息的多模态方面级情感分析方法(CDGI)。在多模态方面词提取任务中,为增强图像与文本模态的交互,利用ClipCap获取图像的粗粒度特征描述文本,作为图像提示信息,辅助模型预测文本中的方面词及其属性。在多模态方面词情感分类中,为了捕获丰富的图像细粒度情感特征,通过跨模态注意力机制,将带有原始情感语义的图像底层特征与掩码后的文本经过多层深度交互,强化图像特征到文本特征的融合。在两个公共的Twitter数据集和Restaurant+数据集上的实验结果表明,CDGI的表现优于当前的基线模型,验证了图像粗细粒度特征对MABSA子任务不同贡献度的合理性。
-
关键词
多模态方面级情感分析
双粒度图像信息
多模态交互
多模态融合
跨模态注意力
-
Keywords
multimodal aspect-based sentiment analysis
dual-granularity image information
multimodal interaction
multimodal fusion
cross-modal attention
-
分类号
TP391.1
[自动化与计算机技术]
TP391.41
[自动化与计算机技术—计算机应用技术]
-
