期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
基于联合交互注意力的图文情感分析方法
1
作者 胡慧君 丁子毅 +1 位作者 张耀峰 刘茂福 《北京航空航天大学学报》 北大核心 2025年第7期2262-2270,共9页
社交媒体中的图文情感对于引导舆论走向具有重要意义,越来越受到自然语言处理(NLP)领域的广泛关注。当前,社交媒体图文情感分析的研究对象主要为单幅图像文本对,针对无时序性及多样性的图集文本对的研究相对较少,为有效挖掘图集中图像... 社交媒体中的图文情感对于引导舆论走向具有重要意义,越来越受到自然语言处理(NLP)领域的广泛关注。当前,社交媒体图文情感分析的研究对象主要为单幅图像文本对,针对无时序性及多样性的图集文本对的研究相对较少,为有效挖掘图集中图像与文本之间情感一致性信息,提出基于联合交互注意力的图文情感分析(SA-JIA)方法。该方法使用RoBERTa和双向门控循环单元(Bi-GRU)来提取文本表达特征,使用ResNet50获取图像视觉特征,利用联合注意力来找到图文情感信息表达一致的显著区域,获得新的文本和图像视觉特征,采用交互注意力关注模态间的特征交互,并进行多模态特征融合,进而完成情感分类任务。在IsTS-CN数据集和CCIR20-YQ数据集上进行了实验验证,结果表明:所提方法能够提升社交媒体图文情感分析的性能。 展开更多
关键词 社交媒体 图文情感分析 联合注意力 交互注意力 多模态融合
在线阅读 下载PDF
基于多层的模态渐进交互融合的图文情感分析
2
作者 程艳 房成兴 +3 位作者 姚宇肖 詹勇鑫 俞恭成 陈彦滢 《中文信息学报》 北大核心 2025年第5期120-128,共9页
相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Pro... 相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Progressive Interaction Fusion,MLMPIF)的图文情感分析模型,以充分探索文本和图像数据之间的信息。该模型从文本和图像中提取到的文本特征、形容词名词对特征和图像特征进行多层渐进交互融合,即先从图像中提取的形容词名词对,增强图像语义理解,并通过门控多模态融合组件实现文本和图像模态的融合,最后,模型引入组合注意力互补组件,促进单模态与融合特征的深入交互,生成更全面的多模态情感特征信息。在MVSA-Single和MVSA-Multiple数据集上进行的实验表明,与主流方法相比,该文的方法对于多模态情感检测是有效的。 展开更多
关键词 图文情感分析 形容词名词对 门控多模态融合
在线阅读 下载PDF
基于公共情感特征压缩与融合的轻量级图文情感分析模型 被引量:2
3
作者 甘臣权 付祥 +1 位作者 冯庆东 祝清意 《计算机研究与发展》 EI CSCD 北大核心 2023年第5期1099-1110,共12页
由于图文结合更能反映用户的态度和立场,图文情感分析已成为研究热点之一.然而,现有图文情感分析方法无法有效地提取融合图文信息,致使模型性能低、参数量大、不易部署.对此,提出了一种基于公共情感特征压缩与融合的轻量级图文情感分析... 由于图文结合更能反映用户的态度和立场,图文情感分析已成为研究热点之一.然而,现有图文情感分析方法无法有效地提取融合图文信息,致使模型性能低、参数量大、不易部署.对此,提出了一种基于公共情感特征压缩与融合的轻量级图文情感分析模型.该模型结合卷积层和全连接层设计的图文特征压缩模块在提取图文特征的同时也进行了压缩,降低了特征维度.此外,提出了一种基于门控机制的公共情感特征融合模块,将图文特征映射到相同的情感空间,消除了图文特征间的异构性,通过提取、融合图像和文本的公共情感特征,减少了冗余信息.在Twitter,Flickr,Getty Images这3个基线数据集上的实验结果表明:所提模型比早期模型更有效地提取融合了图文情感信息;和最新模型相比,所提模型大大减少了模型参数并具有更优越的性能,更易部署. 展开更多
关键词 图文情感分析 公共情感特征 特征压缩 特征融合 轻量级
在线阅读 下载PDF
深层注意力和两阶段融合的图文情感对比学习方法
4
作者 余本功 石中玉 《计算机工程与应用》 北大核心 2025年第3期223-233,共11页
图文数据逐渐成为网络舆情的主流载体,图文情感分析利用多模态的信息互补效应提高情感分析效果,在人机对话、舆情监控等领域具备极大的应用潜能。以往的研究大多将图像和文本的特征拼接后再使用注意力进行融合,模态信息交互不充分,融合... 图文数据逐渐成为网络舆情的主流载体,图文情感分析利用多模态的信息互补效应提高情感分析效果,在人机对话、舆情监控等领域具备极大的应用潜能。以往的研究大多将图像和文本的特征拼接后再使用注意力进行融合,模态信息交互不充分,融合特征存在大量的噪声。提出了一种深层注意力和两阶段融合的图文情感对比学习方法。使用深层跨模态注意力网络进行模态交互,有助于提取不同模态的隐藏信息。设计的跨模态门控融合模块利用门控机制和注意力实现特征的两阶段融合,动态调整特征权重,降低数据噪声。模型通过对比学习和情感分类任务的联合训练,充分捕获与情感相关的跨模态共同特征,有利于提升模型的鲁棒性。方法在MVSA-Single、MVSA-Multiple和HFM等数据集上进行实验得到的准确率和F1值相较于基线模型的最优者平均提升了1.04和0.96个百分点。 展开更多
关键词 图文情感分析 深层注意力 两阶段融合 门控注意力机制 对比学习
在线阅读 下载PDF
基于多层注意力机制的图文双模态情感分析 被引量:6
5
作者 周婷 杨长春 《计算机工程与设计》 北大核心 2023年第6期1853-1859,共7页
针对在图文双模态情感分析任务中,容易忽略通道信息,造成关键信息遗漏以及特征融合不充分、不考虑各模态权重的问题,提出一种基于多层注意力机制的图文双模态情感分析模型(multi-level attention mechanism fusion,MAMF)。使用BERT模型... 针对在图文双模态情感分析任务中,容易忽略通道信息,造成关键信息遗漏以及特征融合不充分、不考虑各模态权重的问题,提出一种基于多层注意力机制的图文双模态情感分析模型(multi-level attention mechanism fusion,MAMF)。使用BERT模型和双向长短时记忆网络结合的方式获得文本特征;在图片特征抽取中,引入卷积注意力模块(convolutional block attention module,CBAM)生成视觉注意特征;利用视觉引导的文本注意力和文本引导的视觉注意力重构特征向量,在特征融合中使用注意力机制对不同模态加权以区别其影响,最后输出进行分类。在多模态情感数据集MVSA上的实验验证了模型的有效性。 展开更多
关键词 图文情感分析 深度学习 卷积神经网络 卷积注意力模块 注意力机制 模态融合 多模态识别
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部