期刊文献+
共找到83篇文章
< 1 2 5 >
每页显示 20 50 100
基于多模态信息融合的中文隐式情感分析 被引量:4
1
作者 张换香 李梦云 张景 《计算机工程与应用》 北大核心 2025年第2期179-190,共12页
隐式情感表达中缺乏显式情感词,给隐式情感分析带来一定的挑战。为有效解决此问题,借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同,提出一种融合多模态信息(包括语音和视频)的隐式情感分析方... 隐式情感表达中缺乏显式情感词,给隐式情感分析带来一定的挑战。为有效解决此问题,借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同,提出一种融合多模态信息(包括语音和视频)的隐式情感分析方法。通过从语音中提取音调、强度等声学特征,以及从视频中捕捉面部表情等视觉特征,辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息;结合多头互注意力机制分别捕捉与文本相关的语音和视觉特征,并通过迭代优化,减少非文本模态的低阶冗余信息。此外,通过设计以文本为中心的交叉注意融合模块,强化隐式文本特征表示,并处理模态间的异质性,增强隐式情感分析的综合性能。在CMUMOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明,所提出的模型优于其他基线模型。这种针对隐式情感分析的多模态处理策略,充分利用语音和视觉外部知识,更全面、准确地捕捉隐式情感表达,有效提升了隐式情感分析的准确率。 展开更多
关键词 隐式情感分析 深度神经网络 多模态 注意力机制 特征融合
在线阅读 下载PDF
基于联合交互注意力的图文情感分析方法
2
作者 胡慧君 丁子毅 +1 位作者 张耀峰 刘茂福 《北京航空航天大学学报》 北大核心 2025年第7期2262-2270,共9页
社交媒体中的图文情感对于引导舆论走向具有重要意义,越来越受到自然语言处理(NLP)领域的广泛关注。当前,社交媒体图文情感分析的研究对象主要为单幅图像文本对,针对无时序性及多样性的图集文本对的研究相对较少,为有效挖掘图集中图像... 社交媒体中的图文情感对于引导舆论走向具有重要意义,越来越受到自然语言处理(NLP)领域的广泛关注。当前,社交媒体图文情感分析的研究对象主要为单幅图像文本对,针对无时序性及多样性的图集文本对的研究相对较少,为有效挖掘图集中图像与文本之间情感一致性信息,提出基于联合交互注意力的图文情感分析(SA-JIA)方法。该方法使用RoBERTa和双向门控循环单元(Bi-GRU)来提取文本表达特征,使用ResNet50获取图像视觉特征,利用联合注意力来找到图文情感信息表达一致的显著区域,获得新的文本和图像视觉特征,采用交互注意力关注模态间的特征交互,并进行多模态特征融合,进而完成情感分类任务。在IsTS-CN数据集和CCIR20-YQ数据集上进行了实验验证,结果表明:所提方法能够提升社交媒体图文情感分析的性能。 展开更多
关键词 社交媒体 图文情感分析 联合注意力 交互注意力 多模态融合
在线阅读 下载PDF
基于跨模态增强网络的时序多模态情感分析
3
作者 王旭阳 章家瑜 《广西师范大学学报(自然科学版)》 北大核心 2025年第4期97-107,共11页
针对多模态情感分析中存在的模态间交互性差、时序性考虑不充分以及模态重要性不同等问题,本文提出一种基于跨模态增强网络的时序多模态情感分析框架(TCAN-SA)。首先,通过模态间交互模块增强各模态之间的信息交流;其次,引入双向时域卷... 针对多模态情感分析中存在的模态间交互性差、时序性考虑不充分以及模态重要性不同等问题,本文提出一种基于跨模态增强网络的时序多模态情感分析框架(TCAN-SA)。首先,通过模态间交互模块增强各模态之间的信息交流;其次,引入双向时域卷积网络(BiTCN)层,以捕捉模态信息的时序特征;最后,采用多模态门控模块来平衡模态间的重要性差异。实验结果表明,该框架在公开数据集CMU-MOSI和CMU-MOSEI上表现优异,相较于现有模型,性能更为突出。 展开更多
关键词 时域卷积 多模态情感分析 多模态融合 门控单元 TRANSFORMER
在线阅读 下载PDF
视频多模态情感分析关键技术研究综述
4
作者 段宗涛 黄俊臣 朱晓乐 《计算机科学与探索》 北大核心 2025年第3期539-558,共20页
情感分析是自动判定观点持有者所表现的态度或情绪倾向性的过程,其在商业、社交媒体分析和舆情监测等领域得到了广泛应用。在单一模态情感分析中,多数研究者使用文本、面部表情和音频信息来进行分析。然而,随着深度学习技术的快速发展,... 情感分析是自动判定观点持有者所表现的态度或情绪倾向性的过程,其在商业、社交媒体分析和舆情监测等领域得到了广泛应用。在单一模态情感分析中,多数研究者使用文本、面部表情和音频信息来进行分析。然而,随着深度学习技术的快速发展,情感分析逐渐从单一模态扩展至多模态领域,综合多种模态,能够克服单一模态存在的局限性并更加准确和全面地理解人们所表达的情感。以三种单模态情感分析为基础对多模态情感分析中的关键技术进行了综述。简要介绍了多模态情感分析的背景和目前的研究现状;总结了常用的相关数据集;分别对基于文本、面部表情和音频信息的单模态情感分析进行了简要叙述;重点梳理了视频多模态情感分析中的关键技术,如多模态融合、对齐和模态噪声处理,并对这些技术的关系与应用进行了详细分析;对不同模型在三种常用数据集上的性能指标进行了分析,进一步验证了关键技术的有效性。讨论了多模态情感分析现存问题和未来的发展趋势。 展开更多
关键词 情感分析 多模态 模态融合 模态对齐 模态噪声
在线阅读 下载PDF
基于细粒度图像-方面的情感增强方面级情感分析
5
作者 余本功 陈明玥 《计算机应用研究》 北大核心 2025年第4期1073-1079,共7页
为了缩小模态间的异质性差异并缓解多个方面词带来的情感混淆,提出一种基于细粒度图像-方面的情感增强多模态方面级情感分析。具体地,该模型经过文本图像编码后,首先利用形容词-名词对将与方面词相关的图像信息加入到文本方面词中,并通... 为了缩小模态间的异质性差异并缓解多个方面词带来的情感混淆,提出一种基于细粒度图像-方面的情感增强多模态方面级情感分析。具体地,该模型经过文本图像编码后,首先利用形容词-名词对将与方面词相关的图像信息加入到文本方面词中,并通过细粒度图像-方面跨模态注意力机制优化图像表征,得到细粒度方面词-图像特征;接着,基于句法结构引入情感得分,得到基于方面词的文本情感特征;最后,进行模态融合得到最终情感预测结果。在Twitter-2015和Twitter-2017数据集上,与基线模型TMSC相比,提出模型值准确率分别提高了0.25百分点和0.16百分点,充分证明了细粒度的图文匹配和情感增强操作有助于提高分类效果。 展开更多
关键词 多模态方面级情感分析 形容词-名词对 跨模态注意力机制 情感分数 模态融合
在线阅读 下载PDF
基于自适应图学习权重的多模态情感分析
6
作者 曲海成 徐波 《智能系统学报》 北大核心 2025年第2期516-528,共13页
在多模态情感分析任务中,由于不同模态表现方式的不一致性,模态间的情感信息密度具有较大的差异。为了平衡情感信息在不同模态中分布的不均匀性并减少多模态特征表示的冗余性,提出了一种基于自适应图学习权重的多模态情感分析方法。首先... 在多模态情感分析任务中,由于不同模态表现方式的不一致性,模态间的情感信息密度具有较大的差异。为了平衡情感信息在不同模态中分布的不均匀性并减少多模态特征表示的冗余性,提出了一种基于自适应图学习权重的多模态情感分析方法。首先,采用不同的特征提取方法捕获单一模态内的特定信息;其次,将不同模态通过公共编码器映射到同一空间中,利用跨模态注意力机制来显式构建模态间的关联;然后,将每种模态对任务分类的预测值以及模态表示嵌入到自适应图中,通过模态标签学习不同模态对最终分类任务的贡献度来动态调整不同模态之间的权重,以适应主导模态的变化;最后,引入信息瓶颈机制进行去噪,旨在学习一种无冗余的多模态特征表示进行情感预测。在公开的多模态情感分析数据集上对所提出的模型进行了评估。实验结果表明,其有效提升了多模态情感分析的准确性。 展开更多
关键词 多模态 情感分析 模态差异性 信息冗余 自适应图学习 跨模态注意力 相似性约束 信息瓶颈
在线阅读 下载PDF
面向情感语义不一致的多模态情感分析方法
7
作者 罗渊贻 吴锐 +1 位作者 刘家锋 唐降龙 《计算机研究与发展》 北大核心 2025年第2期374-382,共9页
多模态情感分析是利用多种模式的主观信息对情感进行分析判断的一种多模态任务.情感表达具有主观性,在某些场景下不同模态的情感表达不一致,甚至存在相悖的情况,这会削弱多模态协同决策的效果.针对不同模态间情感语义不一致的问题,提出... 多模态情感分析是利用多种模式的主观信息对情感进行分析判断的一种多模态任务.情感表达具有主观性,在某些场景下不同模态的情感表达不一致,甚至存在相悖的情况,这会削弱多模态协同决策的效果.针对不同模态间情感语义不一致的问题,提出一种多模态学习方法,学习情感语义表达一致的模态特征表示.为了在不影响模态原始信息的同时,提高各模态的共性特征表达并增加模态间的动态交互,首先学习每个模态的共性特征表示,然后利用交叉注意力使单个模态能有效从其余模态的共性特征表示中获取辅助信息.在模态融合模块,以软注意力机制为基础提出模态注意力,对情感语义表达一致的各模态特征表示进行加权连接,以增大强模态的表达,抑制弱模态对任务的影响.提出的模型在情感分析数据集MOSI,MOSEI,CH-SIMS上的实验结果均优于对比模型,表明在多模态情感分析任务中考虑情感语义不一致问题的必要性与合理性. 展开更多
关键词 多模态情感分析 共性特征 情感语义不一致 注意力机制
在线阅读 下载PDF
基于双通道图卷积网络的多模态方面级情感分析
8
作者 张凤 邵玉斌 +2 位作者 杜庆治 龙华 马迪南 《计算机工程与科学》 北大核心 2025年第7期1321-1330,共10页
针对在多模态方面级情感分析任务中,传统方法主要关注图文模态交互的深层信息而较少关注图像和文本中与方面相关的浅层信息,导致引入与方面无关的噪声,使得模型在捕获方面与情感之间复杂关系的能力上受到限制的问题,提出一种双通道图卷... 针对在多模态方面级情感分析任务中,传统方法主要关注图文模态交互的深层信息而较少关注图像和文本中与方面相关的浅层信息,导致引入与方面无关的噪声,使得模型在捕获方面与情感之间复杂关系的能力上受到限制的问题,提出一种双通道图卷积网络模型DCGCN。在BART模型的结构上,利用注意力机制增强方面语义,通过图卷积网络获取方面增强的多模态特征,并将句法依赖、基于方面的位置依赖和方面增强的图文相关性信息聚合到GCN邻接权重矩阵中以获得感知多信息的多模态特征。实验表明,所提DCGCN模型在Twitter的2个数据集上的F_(1)值分别达到了67.4%和67.9%,提高了多模态方面级情感分析的性能。 展开更多
关键词 方面级情感分析 多模态 图卷积网络 句法依赖 注意力机制
在线阅读 下载PDF
动态时间序列建模的多模态情感识别方法 被引量:2
9
作者 李佳泽 梅红岩 +1 位作者 贾丽云 李文娅 《计算机工程与应用》 北大核心 2025年第1期196-205,共10页
现有的情感识别研究未充分考虑语音信号中的局部-全局信息和长期时间依赖关系,文本特征提取也存在特征稀疏和信息丢失的问题。为解决上述问题,提出动态时间序列建模的多模态情感识别方法。设计动态时间窗口模块分割语音信号从而捕捉局部... 现有的情感识别研究未充分考虑语音信号中的局部-全局信息和长期时间依赖关系,文本特征提取也存在特征稀疏和信息丢失的问题。为解决上述问题,提出动态时间序列建模的多模态情感识别方法。设计动态时间窗口模块分割语音信号从而捕捉局部-全局信息,并通过双向序列建模捕获信号中的空间信息。考虑到文本信息对情感分析的重要性,采用基于Transformer模型的卷积神经网络捕捉文本中不同位置间的依赖关系建模较长的上下文信息,最后将两种模态进行融合得到最终的情感分类。模型在IEMOCAP数据集上的实验结果表明,相比其他主流模型具有更好的多模态情感识别效果。 展开更多
关键词 多模态情感分析 动态时间窗口 双向时间序列建模 卷积神经网络 多模态融合
在线阅读 下载PDF
混合对比学习和多视角CLIP的多模态图文情感分析
10
作者 叶佳乐 普园媛 +3 位作者 赵征鹏 冯珏 周联敏 谷金晶 《计算机科学》 北大核心 2025年第S1期224-230,共7页
以往的多模态图文情感分析模型大多采用不同的编码器结构分别对图像和文本进行特征编码,重点关注探索不同的模态特征融合方法来实现情感分析。但由于独立提取的特征具有语义空间差异性,在交互时无法有效地捕捉到不同特征之间的语义关联... 以往的多模态图文情感分析模型大多采用不同的编码器结构分别对图像和文本进行特征编码,重点关注探索不同的模态特征融合方法来实现情感分析。但由于独立提取的特征具有语义空间差异性,在交互时无法有效地捕捉到不同特征之间的语义关联和互补性,进而降低了情感分析的准确性。针对上述问题,文中提出了混合对比学习和多视角CLIP的多模态图文情感分析方法。具体来说,多视角CLIP特征编码模块采用CLIP对图像和文本进行联合编码表示,以提升特征的语义一致性,从图像、文本和图文交互等多个视角进行多模态情感分析。此外,通过混合对比学习模块使模型提取更具有情感特性以及有效信息的特征,提升模型的鲁棒性。其中,在图文交互时为了去除冗余信息,采用CNN和Transformer级联的融合策略,充分利用图文局部和全局信息来提高特征表示能力。最后,在3个公开数据集上进行综合实验,验证了所提方法的优越性,通过消融实验证明了所提方法各组件的有效性。 展开更多
关键词 多模态 CLIP 对比学习 预训练模型 情感分析
在线阅读 下载PDF
基于跨模态超图优化学习的多模态情感分析
11
作者 蒋昆 赵征鹏 +3 位作者 普园媛 黄健 谷金晶 徐丹 《计算机科学》 北大核心 2025年第7期210-217,共8页
多模态情感分析旨在从文本、音频和视觉等多种模态信息中检测出更准确的情感表达。以往的研究通过图神经网络来捕获跨模态和跨时间的节点情感交互,从而获得高度表达的情感信息。但图神经网络只能实现二元信息交互,这限制了对模态间复杂... 多模态情感分析旨在从文本、音频和视觉等多种模态信息中检测出更准确的情感表达。以往的研究通过图神经网络来捕获跨模态和跨时间的节点情感交互,从而获得高度表达的情感信息。但图神经网络只能实现二元信息交互,这限制了对模态间复杂情感交互信息的利用,多模态数据中更需要挖掘这种潜在的情感交互信息。因此,提出了一种基于跨模态超图神经网络的多模态情感分析框架,利用超图结构可以连接多个节点的特性,充分利用模态内和模态间的复杂情感交互信息,以挖掘数据间更深层次的情感表征。此外,提出了一种超图自适应模块来优化学习原始超图的结构。超图自适应网络通过点边交叉注意力、超边采样和节点采样来发现潜在的隐式连接,并修剪冗余的超边以及无关的事件节点,对超图结构进行更新与优化。相对于初始结构,更新后的超图结构能够更准确、更完整地表述数据间的潜在情感关联性,以达到更好的情感分类效果。最后,在两个公开的CMU-MOSI和CMU-MOSEI数据集上进行了广泛的实验,结果表明所提框架相对于其他先进算法在多个性能指标上提升了1%~6%。 展开更多
关键词 多模态情感分析 超图神经网络 超图优化 自适应网络 点边信息融合
在线阅读 下载PDF
专家路由的方面级多模态情感分析
12
作者 赵京胜 王永政 +2 位作者 杨心怡 曲维龙 朱巧明 《计算机工程与应用》 北大核心 2025年第10期155-165,共11页
在方面级多模态情感分析领域,通过方面术语提取和方面级情感分类任务获取句子中的方面-情感对,前者提取句子中人物、商品等实体的方面词,后者根据给定的方面术语预测用户的情感极性。现有两种主流方法完成两个子任务,但存在各自的问题:... 在方面级多模态情感分析领域,通过方面术语提取和方面级情感分类任务获取句子中的方面-情感对,前者提取句子中人物、商品等实体的方面词,后者根据给定的方面术语预测用户的情感极性。现有两种主流方法完成两个子任务,但存在各自的问题:(1)使用两个独立模型分别处理两个子任务,不同模型之间语义关联度较差,两个任务之间的底层特征无法得到延续;(2)使用一个模型同时处理两个子任务,两个任务共享一套模型参数,难以针对方面术语提取和方面级情感分类特点提升各任务性能,使提取方面-情感对的效率低。为解决上述问题,提出了专家路由的方面级多模态情感分析方法。在一个模型中针对性处理两个子任务,引入专家路由思想,采用稀疏-激活策略,即并非所有参数都会在处理每个输入时被激活,而是根据输入的特定任务需求,只有部分参数集合被调用处理各个任务。模型利用图像(文本)关键信息关注文本(图像)相关联的部分,形成视觉区域与包含情感信息方面词的初步的局部对应语义关联,通过门控单元获取模态间共享互补的深度混合语义矩阵。最后通过方面级情感分类模块进行情感预测。在两个公开数据集Twitter2015和Twitter2017上的实验结果表明该模型优于一系列基线模型。 展开更多
关键词 方面级多模态情感分析 专家路由 门控单元 注意力机制
在线阅读 下载PDF
基于改进的FGM-CM-BERT模型多模态情感分析方法
13
作者 李仁正 高冠东 +1 位作者 宋胜尊 肖珂 《河北大学学报(自然科学版)》 北大核心 2025年第2期192-203,共12页
针对语音文本多模态情感分析方法中泛化能力弱和特征融合效率低的问题,提出了一种改进的FGM-CM-BERT模型,改进快速梯度法(FGM)以对抗训练提升模型泛化能力,并采用多头注意力机制提取融合多模态特征,以提升算法准确度.首先,根据多模态数... 针对语音文本多模态情感分析方法中泛化能力弱和特征融合效率低的问题,提出了一种改进的FGM-CM-BERT模型,改进快速梯度法(FGM)以对抗训练提升模型泛化能力,并采用多头注意力机制提取融合多模态特征,以提升算法准确度.首先,根据多模态数据特征,通过一种基于输入数据特征的自适应参数调整策略来改进FGM权重函数,在embedding层增加自适应扰动提升模型泛化能力;其次,在跨模态交互层提出利用多头自注意力机制,通过将文本查询和音频键值对交叉融合,在特征融合效率与模型复杂度之间达到了较好的平衡;最后,实验采用CMU-MOSI和CMU-MOSEI数据集,对比了常用的15个基线模型,结果表明:该模型在七类情绪评分分类及二元情绪分类的准确率较基线模型均有所提升,分别达到了48.2%和87.5%,验证了该方法的有效性. 展开更多
关键词 多模态情感分析 快速梯度法 多头注意力机制 对抗训练 自适应扰动 跨模态特征融合
在线阅读 下载PDF
基于自上而下掩码生成与层叠Transformer的多模态情感分析
14
作者 冯程 杨海 +1 位作者 王淑娴 李雪 《计算机工程与应用》 北大核心 2025年第14期214-222,共9页
针对现有情感分析模型难以捕捉不同模态之间的信息相关性和跨模态特征融合中的信息冗余问题,提出了一种基于自上而下掩码生成与层叠Transformer的多模态情感分析模型。通过掩码生成模块,生成双模态特征的掩码并作用于另一模态,以挖掘不... 针对现有情感分析模型难以捕捉不同模态之间的信息相关性和跨模态特征融合中的信息冗余问题,提出了一种基于自上而下掩码生成与层叠Transformer的多模态情感分析模型。通过掩码生成模块,生成双模态特征的掩码并作用于另一模态,以挖掘不同模态间的相互关系和互补性,生成更丰富的模态特征表示。采用三层堆叠的Transformer结构,对多模态特征进行多层次融合,生成三个子模态融合向量,并有效合并以提升融合深度、避免冗余,最终得到用于情感分析的多模态特征融合向量。实验结果显示,在CMU-MOSI和CMU-MOSEI数据集上,模型表现优越,MAE值分别为0.675和0.508,二分类准确率分别达85.6%和85.1%。 展开更多
关键词 多模态情感分析 模态融合 掩码生成
在线阅读 下载PDF
融合反事实推理的多模态情感分析算法研究
15
作者 王淑娴 杨海 +1 位作者 冯程 李雪 《计算机工程与应用》 北大核心 2025年第15期199-208,共10页
在多模态情感分析中,现有的情感识别模型大多在测试集上准确率高,但在实际应用中,模型情感识别准确率比测试集中低,即模型的泛化能力不强。许多研究表明,这种现象归因于:多模态情感分析模型在训练阶段严重依赖于文本模态,进而学习到了... 在多模态情感分析中,现有的情感识别模型大多在测试集上准确率高,但在实际应用中,模型情感识别准确率比测试集中低,即模型的泛化能力不强。许多研究表明,这种现象归因于:多模态情感分析模型在训练阶段严重依赖于文本模态,进而学习到了文本模态和情感标签之间关于社会、种族、性别等刻板印象,也称为文本偏见。提出一种基于反事实推理的多模态情感分析模型(counterfactual reasoning for multimodal sentiment analysis,CRFM),构建因果图并分析情感识别结果的因果效应,利用反事实推理从情感识别结果总效应中去除文本偏见直接效应,从而去除文本偏见不良影响,提高模型情感识别准确率,进而增强模型泛化能力。利用MOSI和MOSEI两种数据集,分别与六种基线模型进行对比实验,CRFM准确率达87.05%,优于其他基线模型。此外,CRFM在两种数据集中准确率更稳定,模型泛化能力更强。 展开更多
关键词 多模态情感分析 反事实推理 因果效应 因果图
在线阅读 下载PDF
基于反事实文本去偏的多模态情感分析
16
作者 高枫 冷严 陈菲 《陕西师范大学学报(自然科学版)》 北大核心 2025年第1期81-91,共11页
多模态情感分析,作为一个极具挑战性的研究领域,融合了文本、音频与视频3种模态以分析人的情感倾向。现有的研究认为文本模态在情感预测中占据主导地位,然而,这也引发了一个潜在问题:机器学习模型在训练过程中往往倾向于构建输入输出间... 多模态情感分析,作为一个极具挑战性的研究领域,融合了文本、音频与视频3种模态以分析人的情感倾向。现有的研究认为文本模态在情感预测中占据主导地位,然而,这也引发了一个潜在问题:机器学习模型在训练过程中往往倾向于构建输入输出间的相关关系,过度依赖文本可能导致模型错误地建模文本与情感标签之间虚假的相关关系,削弱模型的泛化能力。为应对这一挑战,创新性地提出一种基于反事实文本去偏的多模态情感分析框架(CFTB),该算法首先运用因果图,深入剖析3种模态与情感标签之间的因果关系。随后,精心构建了一个辅助文本模型,旨在精准量化文本模态对情感预测的直接影响,并通过注意力机制精准捕捉那些可能引发虚假关联的文本特征。在推理阶段,CFTB算法展现出独特的优势:它能够智能地从多模态信息的全效应中剥离出由虚假文本关联导致的负面影响,同时保留并强化文本模态中真正有助于情感预测的正面影响。在MOSEI和MOSI两个数据集上的实验表明,该框架可以有效地集成到现有方法中,具有良好的泛化性能。 展开更多
关键词 因果推断 伪相关关系 反事实 多模态情感分析 注意力机制
在线阅读 下载PDF
差异特征导向的解耦多模态情感分析
17
作者 李志欣 刘鸣琦 《广西师范大学学报(自然科学版)》 北大核心 2025年第3期57-71,共15页
特征解耦能够将不同模态特征解耦为相似特征和差异特征,以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息,同时也包含一致信息,因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突,从而导致预测不准确... 特征解耦能够将不同模态特征解耦为相似特征和差异特征,以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息,同时也包含一致信息,因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突,从而导致预测不准确。为了解决这一问题,本文提出一种差异特征导向的解耦多模态情感分析方法,利用特征表示学习和对比学习的思想,提取更为有效的特征并扩大差异特征间的差异。首先部署一个特征提取模块,针对3种模态使用不同的特征提取方法以提取到更为有效的特征;其次使用共同编码器与独立编码器解耦3种模态特征,并使用一个多模态变压器进行特征融合;最后,为了扩大差异特征间的差异,设计用于优化的损失函数。在2个大规模基准数据集上进行实验,并与多个当前先进方法进行比较,在绝大部分指标上都超越当前先进方法,验证了本文方法的有效性与鲁棒性。 展开更多
关键词 多模态情感分析 特征解耦 预训练BERT 对比学习 表示学习
在线阅读 下载PDF
基于多层的模态渐进交互融合的图文情感分析
18
作者 程艳 房成兴 +3 位作者 姚宇肖 詹勇鑫 俞恭成 陈彦滢 《中文信息学报》 北大核心 2025年第5期120-128,共9页
相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Pro... 相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Progressive Interaction Fusion,MLMPIF)的图文情感分析模型,以充分探索文本和图像数据之间的信息。该模型从文本和图像中提取到的文本特征、形容词名词对特征和图像特征进行多层渐进交互融合,即先从图像中提取的形容词名词对,增强图像语义理解,并通过门控多模态融合组件实现文本和图像模态的融合,最后,模型引入组合注意力互补组件,促进单模态与融合特征的深入交互,生成更全面的多模态情感特征信息。在MVSA-Single和MVSA-Multiple数据集上进行的实验表明,与主流方法相比,该文的方法对于多模态情感检测是有效的。 展开更多
关键词 图文情感分析 形容词名词对 门控多模态融合
在线阅读 下载PDF
基于多头自注意力机制与MLP-Interactor的多模态情感分析
19
作者 林宜山 左景 卢树华 《浙江大学学报(工学版)》 北大核心 2025年第8期1653-1661,1679,共10页
针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质... 针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质量.通过MLP-Interactor机制实现多模态特征之间的充分交互,学习不同模态之间的一致性信息.利用提出方法,在CMU-MOSI和CMU-MOSEI 2个公开数据集上进行大量的实验验证与测试.结果表明,提出方法超越了当前诸多的先进方法,可以有效地提升多模态情感分析的准确性. 展开更多
关键词 多模态情感分析 MLP-Interactor 多头自注意力机制 特征交互
在线阅读 下载PDF
基于深度图文细粒度对齐的弱监督多模态情感分析
20
作者 刘洲 马立平 张海燕 《计算机应用研究》 北大核心 2025年第2期419-424,共6页
针对现有多模态情感分析方法在模态对齐上不够精细,深度特征融合时易丢失重要信息的问题,提出了一种图文深度交互模型。该模型摈弃使用图像区域强监督的方式检测图片中的物体,首先将图片平等划分成更精细的区域序列,通过双路融合流的深... 针对现有多模态情感分析方法在模态对齐上不够精细,深度特征融合时易丢失重要信息的问题,提出了一种图文深度交互模型。该模型摈弃使用图像区域强监督的方式检测图片中的物体,首先将图片平等划分成更精细的区域序列,通过双路融合流的深度融合层来对齐多模态数据中蕴涵的潜在模式,并使用自适应门阀优化残差注意力信息的传递。在MSED和MSVA数据集上进行实验,相比较基线模型,在准确率和F 1分数上分别取得了最高1.06%、0.74%和0.75%、0.63%的提升。最后通过可视化细粒度对齐效果和消融实验证明了所提方法的有效性。 展开更多
关键词 多模态情感分析 模态细粒度对齐 深度跨模态交互 残差注意力
在线阅读 下载PDF
上一页 1 2 5 下一页 到第
使用帮助 返回顶部