期刊文献+
共找到172篇文章
< 1 2 9 >
每页显示 20 50 100
粘弹性输流管道混沌运动的多模态分析 被引量:3
1
作者 邹光胜 金基铎 闻邦椿 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2003年第2期132-135,共4页
讨论了两端固支输流管在其基础简谐运动激励下的稳定性及混沌运动·考虑管道变形的非线性因素 ,推导了管道的非线性运动方程 ,运用Melnikov方法确定了管道系统发生混沌运动的激励振幅临界值 ,同时还利用分岔图等数值模拟方法分别对... 讨论了两端固支输流管在其基础简谐运动激励下的稳定性及混沌运动·考虑管道变形的非线性因素 ,推导了管道的非线性运动方程 ,运用Melnikov方法确定了管道系统发生混沌运动的激励振幅临界值 ,同时还利用分岔图等数值模拟方法分别对单、双模态下系统的运动形态进行了研究 ,并将不同模态下的结果进行了比较·结果表明 ,高阶模态对单模态位移具有定量的补充 ,但不会改变系统动态行为的基本特性· 展开更多
关键词 多模态分析 粘弹性输流管道 混沌运动 MELNIKOV方法 简谐激励 数值模拟 非线性振动
在线阅读 下载PDF
非线性粘弹性梁混沌运动的多模态分析 被引量:1
2
作者 树学锋 王京 杨桂通 《太原理工大学学报》 CAS 1998年第1期20-23,共4页
在考虑材料的粘性和非线性弹性性质的基础上,研究了悬臂梁在横向微扰动下的混沌运动,建立了相应的非线性动力方程。利用Melnikov函数法、Poincare映射、相平面轨迹及时程曲线判定系统是否处于混沌运动状态,并对单模... 在考虑材料的粘性和非线性弹性性质的基础上,研究了悬臂梁在横向微扰动下的混沌运动,建立了相应的非线性动力方程。利用Melnikov函数法、Poincare映射、相平面轨迹及时程曲线判定系统是否处于混沌运动状态,并对单模态和双模态的分析方法进行了讨论。 展开更多
关键词 混沌 非线性 粘弹性梁 多模态分析
在线阅读 下载PDF
电影语篇的多模态分析 被引量:2
3
作者 靳雅姝 《电影评介》 2011年第24期15-16,共2页
电影是集视觉艺术、综合艺术、叙事艺术、大众艺术于一体的表达形式,这增加了把电影作为语篇进行分析的难度。运用多模态话语分析电影不仅可以看到语言系统在意义交换过程中所发挥的作用,而且可以看到诸如图象、音乐、颜色等其他符号系... 电影是集视觉艺术、综合艺术、叙事艺术、大众艺术于一体的表达形式,这增加了把电影作为语篇进行分析的难度。运用多模态话语分析电影不仅可以看到语言系统在意义交换过程中所发挥的作用,而且可以看到诸如图象、音乐、颜色等其他符号系统在这个过程中所产生的效果,从而使话语意义的解读更加全面、更加准确,进而发现人类如何综合使用多种模态达到社会交际的目的。 展开更多
关键词 多模态 多模态分析 电影语篇
在线阅读 下载PDF
电影海报《我的名字叫可汗》多模态分析 被引量:13
4
作者 张同德 葛璇 《电影文学》 北大核心 2011年第6期140-141,共2页
运用Kress&Leeuwen的多模态话语分析方法,以电影《我的名字叫可汗》宣传海报为例,以多模态话语的社会符号学理论为理论支撑,本文探讨了图像及语言等多种符号模态的社会功能和再现意义,分析了运用多模态手段来构建和解读海报和电影主题... 运用Kress&Leeuwen的多模态话语分析方法,以电影《我的名字叫可汗》宣传海报为例,以多模态话语的社会符号学理论为理论支撑,本文探讨了图像及语言等多种符号模态的社会功能和再现意义,分析了运用多模态手段来构建和解读海报和电影主题之间的关系,即电影海报是如何利用文字和图片来反映影片主题情节以及折射其文化内涵的,图像和语言作为社会符号又是如何在电影海报中相互聚合产生合力来构建出一个完整的语篇或交际事件的。 展开更多
关键词 多模态话语分析 电影宣传海报 电影主题的构建
在线阅读 下载PDF
英语阅读教材中德育内容的多模态分析与教学建议 被引量:3
5
作者 陈祥梅 《中小学英语教学与研究》 北大核心 2023年第6期29-32,共4页
现行的英语教材中蕴含着较丰富的德育资源,但在实际教学中,教师容易忽略以图片和音频等多模态形式承载的德育内容,也缺乏德育内容多模态分析及德育内容融入英语教学的有效方法。本文运用评价理论的态度系统、视觉设计语法理论和声音语... 现行的英语教材中蕴含着较丰富的德育资源,但在实际教学中,教师容易忽略以图片和音频等多模态形式承载的德育内容,也缺乏德育内容多模态分析及德育内容融入英语教学的有效方法。本文运用评价理论的态度系统、视觉设计语法理论和声音语法理论对教材语篇中的文字、图片和声音进行分析,旨在为挖掘教材中的德育内容提供借鉴,进而提出相应的教学建议,将德育内容落实在教学活动的设计中,真正实现教材语篇的德育功能。 展开更多
关键词 英语教学 教材 德育内容 多模态分析
在线阅读 下载PDF
基于跨模态增强网络的时序多模态情感分析
6
作者 王旭阳 章家瑜 《广西师范大学学报(自然科学版)》 北大核心 2025年第4期97-107,共11页
针对多模态情感分析中存在的模态间交互性差、时序性考虑不充分以及模态重要性不同等问题,本文提出一种基于跨模态增强网络的时序多模态情感分析框架(TCAN-SA)。首先,通过模态间交互模块增强各模态之间的信息交流;其次,引入双向时域卷... 针对多模态情感分析中存在的模态间交互性差、时序性考虑不充分以及模态重要性不同等问题,本文提出一种基于跨模态增强网络的时序多模态情感分析框架(TCAN-SA)。首先,通过模态间交互模块增强各模态之间的信息交流;其次,引入双向时域卷积网络(BiTCN)层,以捕捉模态信息的时序特征;最后,采用多模态门控模块来平衡模态间的重要性差异。实验结果表明,该框架在公开数据集CMU-MOSI和CMU-MOSEI上表现优异,相较于现有模型,性能更为突出。 展开更多
关键词 时域卷积 多模态情感分析 多模态融合 门控单元 TRANSFORMER
在线阅读 下载PDF
同步课堂中基于多模态数据的专注度分析
7
作者 武法提 高姝睿 赖松 《现代远程教育研究》 北大核心 2025年第1期93-101,共9页
同步课堂是践行“三个课堂”的主要方式,已成为促进教育均衡发展的重要举措。及时、准确地掌握学习者的专注度情况并采取有效的措施进行干预,对提升同步课堂教学质量具有重要的意义。然而当前同步课堂中存在异地学生专注状态难反馈、难... 同步课堂是践行“三个课堂”的主要方式,已成为促进教育均衡发展的重要举措。及时、准确地掌握学习者的专注度情况并采取有效的措施进行干预,对提升同步课堂教学质量具有重要的意义。然而当前同步课堂中存在异地学生专注状态难反馈、难调节等困境,亟需从技术角度提供精准的专注度分析与反馈方案。为达成同步课堂中学习者专注状态的精确反馈,同步课堂专注度分析要依次解决基于学习者数据的专注度计算、专注度特征间的关联,以及针对不同成因的专注度干预策略等“建模”“关系”“应用”三大核心问题,以实现对学习专注度的调节。为此,可先基于同步课堂中学习者个体的视觉、生理等多模态数据构建数据集,从中提取动作及情感特征,形成专注度评估模型;然后分析群体专注度的内在动态演化机理,构建群体专注度演化自适应模型;最后建立“问题—干预策略”知识图谱,搭建人机智能协同的专注度干预模型以及同步课堂精准教学模型,形成“数据感知—问题诊断—干预策略匹配”的个性化学习服务完整链路,帮助教师找准学习者问题,提升课堂教学效果。后续还需在实际同步课堂场景中对建模指标、分析模型、干预策略的适应性以及师生的接受度等进行检验与优化。 展开更多
关键词 同步课堂 专注度 多模态学习分析 人机协同 个性化学习服务
在线阅读 下载PDF
面向情感语义不一致的多模态情感分析方法
8
作者 罗渊贻 吴锐 +1 位作者 刘家锋 唐降龙 《计算机研究与发展》 北大核心 2025年第2期374-382,共9页
多模态情感分析是利用多种模式的主观信息对情感进行分析判断的一种多模态任务.情感表达具有主观性,在某些场景下不同模态的情感表达不一致,甚至存在相悖的情况,这会削弱多模态协同决策的效果.针对不同模态间情感语义不一致的问题,提出... 多模态情感分析是利用多种模式的主观信息对情感进行分析判断的一种多模态任务.情感表达具有主观性,在某些场景下不同模态的情感表达不一致,甚至存在相悖的情况,这会削弱多模态协同决策的效果.针对不同模态间情感语义不一致的问题,提出一种多模态学习方法,学习情感语义表达一致的模态特征表示.为了在不影响模态原始信息的同时,提高各模态的共性特征表达并增加模态间的动态交互,首先学习每个模态的共性特征表示,然后利用交叉注意力使单个模态能有效从其余模态的共性特征表示中获取辅助信息.在模态融合模块,以软注意力机制为基础提出模态注意力,对情感语义表达一致的各模态特征表示进行加权连接,以增大强模态的表达,抑制弱模态对任务的影响.提出的模型在情感分析数据集MOSI,MOSEI,CH-SIMS上的实验结果均优于对比模型,表明在多模态情感分析任务中考虑情感语义不一致问题的必要性与合理性. 展开更多
关键词 多模态情感分析 共性特征 情感语义不一致 注意力机制
在线阅读 下载PDF
基于跨模态超图优化学习的多模态情感分析
9
作者 蒋昆 赵征鹏 +3 位作者 普园媛 黄健 谷金晶 徐丹 《计算机科学》 北大核心 2025年第7期210-217,共8页
多模态情感分析旨在从文本、音频和视觉等多种模态信息中检测出更准确的情感表达。以往的研究通过图神经网络来捕获跨模态和跨时间的节点情感交互,从而获得高度表达的情感信息。但图神经网络只能实现二元信息交互,这限制了对模态间复杂... 多模态情感分析旨在从文本、音频和视觉等多种模态信息中检测出更准确的情感表达。以往的研究通过图神经网络来捕获跨模态和跨时间的节点情感交互,从而获得高度表达的情感信息。但图神经网络只能实现二元信息交互,这限制了对模态间复杂情感交互信息的利用,多模态数据中更需要挖掘这种潜在的情感交互信息。因此,提出了一种基于跨模态超图神经网络的多模态情感分析框架,利用超图结构可以连接多个节点的特性,充分利用模态内和模态间的复杂情感交互信息,以挖掘数据间更深层次的情感表征。此外,提出了一种超图自适应模块来优化学习原始超图的结构。超图自适应网络通过点边交叉注意力、超边采样和节点采样来发现潜在的隐式连接,并修剪冗余的超边以及无关的事件节点,对超图结构进行更新与优化。相对于初始结构,更新后的超图结构能够更准确、更完整地表述数据间的潜在情感关联性,以达到更好的情感分类效果。最后,在两个公开的CMU-MOSI和CMU-MOSEI数据集上进行了广泛的实验,结果表明所提框架相对于其他先进算法在多个性能指标上提升了1%~6%。 展开更多
关键词 多模态情感分析 超图神经网络 超图优化 自适应网络 点边信息融合
在线阅读 下载PDF
基于改进的FGM-CM-BERT模型多模态情感分析方法
10
作者 李仁正 高冠东 +1 位作者 宋胜尊 肖珂 《河北大学学报(自然科学版)》 北大核心 2025年第2期192-203,共12页
针对语音文本多模态情感分析方法中泛化能力弱和特征融合效率低的问题,提出了一种改进的FGM-CM-BERT模型,改进快速梯度法(FGM)以对抗训练提升模型泛化能力,并采用多头注意力机制提取融合多模态特征,以提升算法准确度.首先,根据多模态数... 针对语音文本多模态情感分析方法中泛化能力弱和特征融合效率低的问题,提出了一种改进的FGM-CM-BERT模型,改进快速梯度法(FGM)以对抗训练提升模型泛化能力,并采用多头注意力机制提取融合多模态特征,以提升算法准确度.首先,根据多模态数据特征,通过一种基于输入数据特征的自适应参数调整策略来改进FGM权重函数,在embedding层增加自适应扰动提升模型泛化能力;其次,在跨模态交互层提出利用多头自注意力机制,通过将文本查询和音频键值对交叉融合,在特征融合效率与模型复杂度之间达到了较好的平衡;最后,实验采用CMU-MOSI和CMU-MOSEI数据集,对比了常用的15个基线模型,结果表明:该模型在七类情绪评分分类及二元情绪分类的准确率较基线模型均有所提升,分别达到了48.2%和87.5%,验证了该方法的有效性. 展开更多
关键词 多模态情感分析 快速梯度法 多头注意力机制 对抗训练 自适应扰动 模态特征融合
在线阅读 下载PDF
基于双流注意力与门控融合的多模态情感分析
11
作者 张亚男 石荣坤 +2 位作者 张婷婷 吴超凡 梁琨 《传感器与微系统》 北大核心 2025年第5期90-93,98,共5页
由于多模态信息相互独立且表达形式不同,现有的方法仅注重模态间的情感一致性而忽略了表达的不平衡,导致模型很少关注不同表达分布上的差异。针对这种问题,提出了一种基于双流注意力与门控融合(DAGF)的模型。首先,计算模态对的相似注意... 由于多模态信息相互独立且表达形式不同,现有的方法仅注重模态间的情感一致性而忽略了表达的不平衡,导致模型很少关注不同表达分布上的差异。针对这种问题,提出了一种基于双流注意力与门控融合(DAGF)的模型。首先,计算模态对的相似注意力和差异注意力,来捕捉不同模态情感贡献的一致性和情感表达的差异性;然后,引入自适应门控网络学习相似特征和差异特征的聚合表征,解决了多模态数据融合不充分的问题。在公开的CMU-MOSI和CMU-MOSEI数据集上,DAGF超越了大多数经典模型,证明了DAGF在特征交互和模态融合方面的有效性。 展开更多
关键词 多模态情感分析 双流注意力 门控网络
在线阅读 下载PDF
专家路由的方面级多模态情感分析
12
作者 赵京胜 王永政 +2 位作者 杨心怡 曲维龙 朱巧明 《计算机工程与应用》 北大核心 2025年第10期155-165,共11页
在方面级多模态情感分析领域,通过方面术语提取和方面级情感分类任务获取句子中的方面-情感对,前者提取句子中人物、商品等实体的方面词,后者根据给定的方面术语预测用户的情感极性。现有两种主流方法完成两个子任务,但存在各自的问题:... 在方面级多模态情感分析领域,通过方面术语提取和方面级情感分类任务获取句子中的方面-情感对,前者提取句子中人物、商品等实体的方面词,后者根据给定的方面术语预测用户的情感极性。现有两种主流方法完成两个子任务,但存在各自的问题:(1)使用两个独立模型分别处理两个子任务,不同模型之间语义关联度较差,两个任务之间的底层特征无法得到延续;(2)使用一个模型同时处理两个子任务,两个任务共享一套模型参数,难以针对方面术语提取和方面级情感分类特点提升各任务性能,使提取方面-情感对的效率低。为解决上述问题,提出了专家路由的方面级多模态情感分析方法。在一个模型中针对性处理两个子任务,引入专家路由思想,采用稀疏-激活策略,即并非所有参数都会在处理每个输入时被激活,而是根据输入的特定任务需求,只有部分参数集合被调用处理各个任务。模型利用图像(文本)关键信息关注文本(图像)相关联的部分,形成视觉区域与包含情感信息方面词的初步的局部对应语义关联,通过门控单元获取模态间共享互补的深度混合语义矩阵。最后通过方面级情感分类模块进行情感预测。在两个公开数据集Twitter2015和Twitter2017上的实验结果表明该模型优于一系列基线模型。 展开更多
关键词 方面级多模态情感分析 专家路由 门控单元 注意力机制
在线阅读 下载PDF
差异特征导向的解耦多模态情感分析
13
作者 李志欣 刘鸣琦 《广西师范大学学报(自然科学版)》 北大核心 2025年第3期57-71,共15页
特征解耦能够将不同模态特征解耦为相似特征和差异特征,以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息,同时也包含一致信息,因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突,从而导致预测不准确... 特征解耦能够将不同模态特征解耦为相似特征和差异特征,以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息,同时也包含一致信息,因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突,从而导致预测不准确。为了解决这一问题,本文提出一种差异特征导向的解耦多模态情感分析方法,利用特征表示学习和对比学习的思想,提取更为有效的特征并扩大差异特征间的差异。首先部署一个特征提取模块,针对3种模态使用不同的特征提取方法以提取到更为有效的特征;其次使用共同编码器与独立编码器解耦3种模态特征,并使用一个多模态变压器进行特征融合;最后,为了扩大差异特征间的差异,设计用于优化的损失函数。在2个大规模基准数据集上进行实验,并与多个当前先进方法进行比较,在绝大部分指标上都超越当前先进方法,验证了本文方法的有效性与鲁棒性。 展开更多
关键词 多模态情感分析 特征解耦 预训练BERT 对比学习 表示学习
在线阅读 下载PDF
融合反事实推理的多模态情感分析算法研究
14
作者 王淑娴 杨海 +1 位作者 冯程 李雪 《计算机工程与应用》 北大核心 2025年第15期199-208,共10页
在多模态情感分析中,现有的情感识别模型大多在测试集上准确率高,但在实际应用中,模型情感识别准确率比测试集中低,即模型的泛化能力不强。许多研究表明,这种现象归因于:多模态情感分析模型在训练阶段严重依赖于文本模态,进而学习到了... 在多模态情感分析中,现有的情感识别模型大多在测试集上准确率高,但在实际应用中,模型情感识别准确率比测试集中低,即模型的泛化能力不强。许多研究表明,这种现象归因于:多模态情感分析模型在训练阶段严重依赖于文本模态,进而学习到了文本模态和情感标签之间关于社会、种族、性别等刻板印象,也称为文本偏见。提出一种基于反事实推理的多模态情感分析模型(counterfactual reasoning for multimodal sentiment analysis,CRFM),构建因果图并分析情感识别结果的因果效应,利用反事实推理从情感识别结果总效应中去除文本偏见直接效应,从而去除文本偏见不良影响,提高模型情感识别准确率,进而增强模型泛化能力。利用MOSI和MOSEI两种数据集,分别与六种基线模型进行对比实验,CRFM准确率达87.05%,优于其他基线模型。此外,CRFM在两种数据集中准确率更稳定,模型泛化能力更强。 展开更多
关键词 多模态情感分析 反事实推理 因果效应 因果图
在线阅读 下载PDF
基于自上而下掩码生成与层叠Transformer的多模态情感分析
15
作者 冯程 杨海 +1 位作者 王淑娴 李雪 《计算机工程与应用》 北大核心 2025年第14期214-222,共9页
针对现有情感分析模型难以捕捉不同模态之间的信息相关性和跨模态特征融合中的信息冗余问题,提出了一种基于自上而下掩码生成与层叠Transformer的多模态情感分析模型。通过掩码生成模块,生成双模态特征的掩码并作用于另一模态,以挖掘不... 针对现有情感分析模型难以捕捉不同模态之间的信息相关性和跨模态特征融合中的信息冗余问题,提出了一种基于自上而下掩码生成与层叠Transformer的多模态情感分析模型。通过掩码生成模块,生成双模态特征的掩码并作用于另一模态,以挖掘不同模态间的相互关系和互补性,生成更丰富的模态特征表示。采用三层堆叠的Transformer结构,对多模态特征进行多层次融合,生成三个子模态融合向量,并有效合并以提升融合深度、避免冗余,最终得到用于情感分析的多模态特征融合向量。实验结果显示,在CMU-MOSI和CMU-MOSEI数据集上,模型表现优越,MAE值分别为0.675和0.508,二分类准确率分别达85.6%和85.1%。 展开更多
关键词 多模态情感分析 模态融合 掩码生成
在线阅读 下载PDF
基于反事实文本去偏的多模态情感分析
16
作者 高枫 冷严 陈菲 《陕西师范大学学报(自然科学版)》 北大核心 2025年第1期81-91,共11页
多模态情感分析,作为一个极具挑战性的研究领域,融合了文本、音频与视频3种模态以分析人的情感倾向。现有的研究认为文本模态在情感预测中占据主导地位,然而,这也引发了一个潜在问题:机器学习模型在训练过程中往往倾向于构建输入输出间... 多模态情感分析,作为一个极具挑战性的研究领域,融合了文本、音频与视频3种模态以分析人的情感倾向。现有的研究认为文本模态在情感预测中占据主导地位,然而,这也引发了一个潜在问题:机器学习模型在训练过程中往往倾向于构建输入输出间的相关关系,过度依赖文本可能导致模型错误地建模文本与情感标签之间虚假的相关关系,削弱模型的泛化能力。为应对这一挑战,创新性地提出一种基于反事实文本去偏的多模态情感分析框架(CFTB),该算法首先运用因果图,深入剖析3种模态与情感标签之间的因果关系。随后,精心构建了一个辅助文本模型,旨在精准量化文本模态对情感预测的直接影响,并通过注意力机制精准捕捉那些可能引发虚假关联的文本特征。在推理阶段,CFTB算法展现出独特的优势:它能够智能地从多模态信息的全效应中剥离出由虚假文本关联导致的负面影响,同时保留并强化文本模态中真正有助于情感预测的正面影响。在MOSEI和MOSI两个数据集上的实验表明,该框架可以有效地集成到现有方法中,具有良好的泛化性能。 展开更多
关键词 因果推断 伪相关关系 反事实 多模态情感分析 注意力机制
在线阅读 下载PDF
基于多头自注意力机制与MLP-Interactor的多模态情感分析
17
作者 林宜山 左景 卢树华 《浙江大学学报(工学版)》 北大核心 2025年第8期1653-1661,1679,共10页
针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质... 针对多模态情感分析中单模态特征质量较差及多模态特征交互不够充分的问题,提出基于多头自注意力机制和MLP-Interactor的多模态情感分析方法.通过基于多头自注意力机制的模态内特征交互模块,实现单模态内的特征交互,提高单模态特征的质量.通过MLP-Interactor机制实现多模态特征之间的充分交互,学习不同模态之间的一致性信息.利用提出方法,在CMU-MOSI和CMU-MOSEI 2个公开数据集上进行大量的实验验证与测试.结果表明,提出方法超越了当前诸多的先进方法,可以有效地提升多模态情感分析的准确性. 展开更多
关键词 多模态情感分析 MLP-Interactor 多头自注意力机制 特征交互
在线阅读 下载PDF
基于深度图文细粒度对齐的弱监督多模态情感分析
18
作者 刘洲 马立平 张海燕 《计算机应用研究》 北大核心 2025年第2期419-424,共6页
针对现有多模态情感分析方法在模态对齐上不够精细,深度特征融合时易丢失重要信息的问题,提出了一种图文深度交互模型。该模型摈弃使用图像区域强监督的方式检测图片中的物体,首先将图片平等划分成更精细的区域序列,通过双路融合流的深... 针对现有多模态情感分析方法在模态对齐上不够精细,深度特征融合时易丢失重要信息的问题,提出了一种图文深度交互模型。该模型摈弃使用图像区域强监督的方式检测图片中的物体,首先将图片平等划分成更精细的区域序列,通过双路融合流的深度融合层来对齐多模态数据中蕴涵的潜在模式,并使用自适应门阀优化残差注意力信息的传递。在MSED和MSVA数据集上进行实验,相比较基线模型,在准确率和F 1分数上分别取得了最高1.06%、0.74%和0.75%、0.63%的提升。最后通过可视化细粒度对齐效果和消融实验证明了所提方法的有效性。 展开更多
关键词 多模态情感分析 模态细粒度对齐 深度跨模态交互 残差注意力
在线阅读 下载PDF
多尺度语义感知和注意力融合的多模态方面级情感分析模型 被引量:1
19
作者 杨丽莎 马常霞 +4 位作者 仲兆满 周子豪 周志耀 胡文彬 赵雪峰 《南京大学学报(自然科学版)》 北大核心 2025年第2期223-236,共14页
多模态方面级情感分析模型在特征提取过程中可能过度依赖文本模态,而忽视文本与图像内容潜在的语义关联.由于模态之间的异质编码属性和信息质量差异,无法执行有效的跨模态交互.为了解决这一问题,提出一种多尺度语义感知和注意力融合模型... 多模态方面级情感分析模型在特征提取过程中可能过度依赖文本模态,而忽视文本与图像内容潜在的语义关联.由于模态之间的异质编码属性和信息质量差异,无法执行有效的跨模态交互.为了解决这一问题,提出一种多尺度语义感知和注意力融合模型(Multiscale Semantic Perception and Attention Fusion Model,MSPAF).首先,充分挖掘多尺度的图像语义信息,进行跨模态语义关联建模,以促进文本图像在统一特征空间内的有效交互.提出一种动态门控交叉注意力机制,在方面引导下进行视觉特征提取.其次,结合图卷积神经网络深度共现词间的语义依赖关系,获取句法和语义增强的上下文表征.最后,在多模态特征融合阶段,通过多层注意力池化学习不同模态特征的相关性,并降低融合特征维度.在公开的情感分析数据集上,对提出的模型进行评估,实验结果表明,与一系列基线模型相比,本模型具有更佳的情感分类效果. 展开更多
关键词 多模态方面级情感分析 多尺度图像语义提取 统一特征空间 语义关联建模 文本图卷积 注意力池化
在线阅读 下载PDF
基于跨模态单向加权的多模态情感分析模型
20
作者 王有康 程春玲 《计算机科学》 北大核心 2025年第7期226-232,共7页
多模态情感分析模型大多利用跨模态注意力机制处理多模态特征信息,这类方法容易忽略不同模态内特有的有效信息,且存在多模态共有冗余信息对有效信息提取的干扰,导致模型分类精度降低。为此,提出一种基于跨模态单向加权的多模态情感分析... 多模态情感分析模型大多利用跨模态注意力机制处理多模态特征信息,这类方法容易忽略不同模态内特有的有效信息,且存在多模态共有冗余信息对有效信息提取的干扰,导致模型分类精度降低。为此,提出一种基于跨模态单向加权的多模态情感分析模型。该模型利用单向加权模块完成不同模态内共有信息和特有信息的提取;同时实现多模态数据信息的交互。为了避免在交互过程中提取大量的重复有效信息,使用KL散度损失函数对相同模态信息进行对比学习。此外,提出含有过滤门控的时间卷积网络来完成单模态数据的特征提取,增强单模态特征信息的表达能力。在两个公开数据集CMU-MOSI和CMU-MOSEI上与13个基线模型相比,所提方法在分类精度、F1值等指标上表现出明显优势,验证了其有效性。 展开更多
关键词 多模态情感分析 Transformer模型 单向加权 注意力机制 KL散度
在线阅读 下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部