-
题名基于多模态信息融合的中文隐式情感分析
被引量：4
- 1
-
-
作者
张换香
李梦云
张景
-
机构
内蒙古科技大学创新创业教育学院
上海大学计算机工程与科学学院
内蒙古科技大学数智产业学院
内蒙古科技大学理学院
-
出处
《计算机工程与应用》
北大核心
2025年第2期179-190,共12页
-
基金
内蒙古自然科学基金(2023MS06012)
自治区直属高校基本科研业务费项目(2024QNJS033,2024XKJX019)。
-
文摘
隐式情感表达中缺乏显式情感词,给隐式情感分析带来一定的挑战。为有效解决此问题,借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同,提出一种融合多模态信息(包括语音和视频)的隐式情感分析方法。通过从语音中提取音调、强度等声学特征,以及从视频中捕捉面部表情等视觉特征,辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息;结合多头互注意力机制分别捕捉与文本相关的语音和视觉特征,并通过迭代优化,减少非文本模态的低阶冗余信息。此外,通过设计以文本为中心的交叉注意融合模块,强化隐式文本特征表示,并处理模态间的异质性,增强隐式情感分析的综合性能。在CMUMOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明,所提出的模型优于其他基线模型。这种针对隐式情感分析的多模态处理策略,充分利用语音和视觉外部知识,更全面、准确地捕捉隐式情感表达,有效提升了隐式情感分析的准确率。
-
关键词
隐式情感分析
深度神经网络
多模态
注意力机制
特征融合
-
Keywords
implicit sentiment analysis
deep neural networks
multimodal
attention mechanism
feature fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于层次化一致性语义学习的多模态意图识别
- 2
-
-
作者
彭俊杰
李铮一
张换香
王兰
-
机构
上海大学计算机工程与科学学院
内蒙古科技大学创新创业教育学院
-
出处
《电子学报》
北大核心
2025年第6期2007-2021,共15页
-
基金
上海市服务业发展引导资金项目(No.06162021592)。
-
文摘
多模态意图识别(Multimodal Intent Recognition,MIR)是在现实世界中理解人类意图的重要研究方向,旨在通过融合语言、视觉和音频等多种模态信息来准确判断说话人的意图.然而,现有的MIR研究大多集中在如何为文本模态构建多模态语义环境,对视觉和音频模态中蕴含的大量语义信息(如动作和情感语义)的利用则不够深入.尽管视觉和音频模态富含与意图相关的信息,但其固有的冗余信息和噪声却制约了模型对这些模态特征的有效利用.为解决上述问题,本文提出了一种能够有效利用音频模态语义关系,同时有效抑制冗余信息的MIR模型.该模型通过构建抑制冗余信息的初级语义特征,引导学习不同尺度的模态内与模态间语义关联,以理解说话人的意图.在此基础之上,模型利用不同模态特征间潜在的意图一致性,将提取到的音视频语义特征与具有明确意图语义的文本特征进行配对,从而过滤掉那些单独通过意图识别任务无法消除的无关语义信息.此外,模型采用多模态融合门控机制,整合来自不同模态的意图语义.在多个意图理解任务的数据集上的实验表明:所提出的方法能够有效提取音视频模态语义并滤除意图识别无关语义,且在性能上优于现有的MIR方法.具体而言,在准确率(ACCuracy,ACC)值、精确度(Precision,P)值、召回率(Recall,R)值和F_(1)值(F1score,F_(1))上均取得了0.7~1.8个百分点的提升.
-
关键词
意图识别
多模态融合
多模态语义学习
多任务学习
跨模态注意力
-
Keywords
intent recognition
multimodal fusion
multimodal semantic learning
multi-task learning
cross-modal attention
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名联合双粒度图像信息的多模态方面级情感分析
- 3
-
-
作者
许威
张晓琳
张换香
张景
-
机构
内蒙古科技大学数智产业学院
内蒙古科技大学创新创业教育学院
上海大学计算机工程与科学学院
内蒙古科技大学理学院
-
出处
《计算机科学与探索》
北大核心
2025年第9期2479-2492,共14页
-
基金
国家自然科学基金(62466045)
内蒙古自然科学基金(2023MS06012)
内蒙古自治区直属高校基本科研业务费项目(2024QNJS033,2024XKJX019)。
-
文摘
多模态方面级情感分析(MABSA)作为一种细粒度情感分析技术,旨在通过整合多种模态的特征数据来提高该领域的精度和效果。现有的多模态方面级情感分析的研究大多集中在文本和图像模态间的跨模态对齐上,忽略了图像的粗细粒度特征信息对MABSA子任务的潜在贡献。为此,提出一种联合双粒度图像信息的多模态方面级情感分析方法(CDGI)。在多模态方面词提取任务中,为增强图像与文本模态的交互,利用ClipCap获取图像的粗粒度特征描述文本,作为图像提示信息,辅助模型预测文本中的方面词及其属性。在多模态方面词情感分类中,为了捕获丰富的图像细粒度情感特征,通过跨模态注意力机制,将带有原始情感语义的图像底层特征与掩码后的文本经过多层深度交互,强化图像特征到文本特征的融合。在两个公共的Twitter数据集和Restaurant+数据集上的实验结果表明,CDGI的表现优于当前的基线模型,验证了图像粗细粒度特征对MABSA子任务不同贡献度的合理性。
-
关键词
多模态方面级情感分析
双粒度图像信息
多模态交互
多模态融合
跨模态注意力
-
Keywords
multimodal aspect-based sentiment analysis
dual-granularity image information
multimodal interaction
multimodal fusion
cross-modal attention
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于方面级情感分析的深度语义挖掘模型
被引量：5
- 4
-
-
作者
张换香
彭俊杰
-
机构
上海大学计算机工程与科学学院
上海先进通信与数据科学研究院
内蒙古科技大学创新创业教育学院
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2024年第7期2307-2319,共13页
-
文摘
方面级情感分析是一种细粒度的情感分类任务,具有广泛的应用前景,正因为如此,得到了广泛关注与研究,尤其是近年来,基于依赖树的图神经网络和基于注意力的网络模型的研究取得了较大进展.但是,由于在线评论表达的复杂性和依赖关系不易解析使得这些方法在情感分析的性能上得不到有效提升.为了克服这些挑战,本文提出了一种同时考虑句法语义和上下文语义的深度语义挖掘模型(Deep Semantic Mining Model,DSMM).具体地,为了深度挖掘句法背后隐含的深度语义,模型采用并行的图卷积和多头注意力机制挖掘丰富的语义;为了充分利用句法语义和上下文语义的内在关联关系,采用了关联注意力机制获取句法语义和上下文语义的相关性,并且采用自适应方面路由机制有效获取方面的情感语义,并在此基础上,通过引入基于依赖树的语义位置嵌入,进一步增强方面-意见词的关联.在三个公共数据集上的实验结果表明,该模型在复杂句情感分析中既能从不同语义空间挖掘句子的语义特征,也能有效利用句法特征强化句子的语义表征,在分类准确率和泛化能力上的表现优于相关工作.
-
关键词
方面级情感分析
图卷积神经网络
多头注意力机制
关联注意力
句法
上下文语义
-
Keywords
aspect level sentiment analysis
graph convolutional neural network
multi-head attention mechanism
relevance attention
syntax
contextual semantics
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于跨模态语义信息增强的多模态情感分析
被引量：3
- 5
-
-
作者
李梦云
张景
张换香
张晓琳
刘璐瑶
-
机构
内蒙古科技大学信息工程学院
内蒙古科技大学理学院
内蒙古科技大学创新创业教育学院
上海大学计算机工程与科学学院
-
出处
《计算机科学与探索》
CSCD
北大核心
2024年第9期2476-2486,共11页
-
基金
国家自然科学基金(61562065)
内蒙古自然科学基金(2023MS06012)
内蒙古自治区直属高校基本科研业务费项目(2023RCTD027)。
-
文摘
随着社交网络的发展,人类通过不同的方式表达自己的情感,包括文本、视觉和语音,即多模态。针对以往的多模态情感分析方法未能有效地获取多模态情感特征表示,以及没有充分考虑在多模态特征融合过程中冗余信息对实验的影响,提出了一种基于跨模态语义信息增强的多模态情感分析模型。该模型采用BiLSTM网络挖掘各单模态内部存在的上下文信息。通过跨模态信息交互机制对多种模态间的信息交互进行建模,得到文本对语音、视觉,语音对文本、视觉,视觉对文本、语音六种信息交互特征,将目标模态相同的信息交互特征进行拼接,得到信息增强后的单模态特征向量,有效地获取模态间共享和补充的深度语义特征。另外,使用多头自注意力机制分别计算原始单模态特征向量和信息增强后的单模态特征向量间存在的语义相关性,提高识别关键情感特征的能力,降低冗余信息对情感分析的负面干扰。在公共数据集CMU-MOSI和CMU-MOSEI的实验结果表明,所提出的模型既能增强情感特征表示,也能有效降低冗余信息的干扰,在多模态情感分类准确率和泛化能力上的表现优于相关工作。
-
关键词
多模态情感分析
信息增强
信息交互
多头注意力机制
特征融合
-
Keywords
multimodal emotional analysis
information augmentation
information interaction
multi-head attention mechanism
feature fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
