期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
基于GCN和目标视觉特征增强的多模态方面级情感分析
1
作者 赵雪峰 柏长泽 +2 位作者 狄恒西 仲兆满 仲晓敏 《数据采集与处理》 北大核心 2025年第5期1177-1192,共16页
多模态方面级情感分析旨在整合图文模态数据,以精准预测方面词的情感极性。现有方法在精确定位文本相关的图像区域特征及有效处理模态间信息交互方面仍存在显著局限,同时模态内的上下文信息理解存在偏差,导致产生额外的噪声。为了解决... 多模态方面级情感分析旨在整合图文模态数据,以精准预测方面词的情感极性。现有方法在精确定位文本相关的图像区域特征及有效处理模态间信息交互方面仍存在显著局限,同时模态内的上下文信息理解存在偏差,导致产生额外的噪声。为了解决上述问题,本文提出一种基于图卷积神经网络和目标视觉特征增强(Graph convolutional network and target visual feature enhancement,GCN-TVFE)的多模态方面级情感分析模型。首先,本文采用CLIP(Contrastive language-image pre-training)模型处理文本、方面词和图像数据,通过计算文本与图像之间的相似度以及方面词与图像之间的相似度,并结合这两项相似度,实现对文本与图像、方面词与图像匹配程度的量化评估。再通过Faster R-CNN模型去快速且精确地识别并定位图像中的目标区域,进一步增强模型提取与文本相关的图像特征能力。其次,通过图文GCN网络,利用文本之间的依存句法关系构建文本图结构,同时借助K近邻(K-nearest neighbor,KNN)算法生成图像图结构,从而深入挖掘模态内的特征信息。最后,采用多模态交互注意力机制,有效捕捉方面词与文本之间、目标视觉特征与图像生成文本描述特征之间的关联信息,显著减少噪声干扰,增强模态间的特征交互。实验结果表明,本文提出的模型在公共数据集Twitter 2015和Twitter 2017上的综合性能优越,验证了该模型在多模态情感分析领域的有效性。 展开更多
关键词 多模态方面级情感分析 目标视觉特征 依存句法关系 KNN算法 多模态交互注意力机制
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部