-
题名基于跨模态超图优化学习的多模态情感分析
- 1
-
-
作者
蒋昆
赵征鹏
普园媛
黄健
谷金晶
徐丹
-
机构
云南大学信息学院
中国云南省高校物联网技术及应用重点实验室
-
出处
《计算机科学》
北大核心
2025年第7期210-217,共8页
-
基金
国家自然科学基金(61271361,61761046,62162068,52102382,62362070)
云南省科技厅应用基础研究计划重点项目(202001BB050043,202401AS070149)
+1 种基金
云南省科技重大专项(202302AF080006)
研究生科研创新项目(KC-23236053)。
-
文摘
多模态情感分析旨在从文本、音频和视觉等多种模态信息中检测出更准确的情感表达。以往的研究通过图神经网络来捕获跨模态和跨时间的节点情感交互,从而获得高度表达的情感信息。但图神经网络只能实现二元信息交互,这限制了对模态间复杂情感交互信息的利用,多模态数据中更需要挖掘这种潜在的情感交互信息。因此,提出了一种基于跨模态超图神经网络的多模态情感分析框架,利用超图结构可以连接多个节点的特性,充分利用模态内和模态间的复杂情感交互信息,以挖掘数据间更深层次的情感表征。此外,提出了一种超图自适应模块来优化学习原始超图的结构。超图自适应网络通过点边交叉注意力、超边采样和节点采样来发现潜在的隐式连接,并修剪冗余的超边以及无关的事件节点,对超图结构进行更新与优化。相对于初始结构,更新后的超图结构能够更准确、更完整地表述数据间的潜在情感关联性,以达到更好的情感分类效果。最后,在两个公开的CMU-MOSI和CMU-MOSEI数据集上进行了广泛的实验,结果表明所提框架相对于其他先进算法在多个性能指标上提升了1%~6%。
-
关键词
多模态情感分析
超图神经网络
超图优化
自适应网络
点边信息融合
-
Keywords
Multimodal sentiment analysis
Hypergraph neural networks
Hypergraph optimisation
Adaptive networks
Node-edge information fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名混合对比学习和多视角CLIP的多模态图文情感分析
- 2
-
-
作者
叶佳乐
普园媛
赵征鹏
冯珏
周联敏
谷金晶
-
机构
云南大学信息学院
中国云南省高校物联网技术及应用重点实验室
-
出处
《计算机科学》
北大核心
2025年第S1期224-230,共7页
-
基金
国家自然科学基金(61761046,52102382,62362070)
云南省科技厅应用基础研究计划重点项目(202001BB050043,202401AS070149)
+1 种基金
云南省科技重大专项(202302AF080006)
研究生科研创新项目(KC-23236053)。
-
文摘
以往的多模态图文情感分析模型大多采用不同的编码器结构分别对图像和文本进行特征编码,重点关注探索不同的模态特征融合方法来实现情感分析。但由于独立提取的特征具有语义空间差异性,在交互时无法有效地捕捉到不同特征之间的语义关联和互补性,进而降低了情感分析的准确性。针对上述问题,文中提出了混合对比学习和多视角CLIP的多模态图文情感分析方法。具体来说,多视角CLIP特征编码模块采用CLIP对图像和文本进行联合编码表示,以提升特征的语义一致性,从图像、文本和图文交互等多个视角进行多模态情感分析。此外,通过混合对比学习模块使模型提取更具有情感特性以及有效信息的特征,提升模型的鲁棒性。其中,在图文交互时为了去除冗余信息,采用CNN和Transformer级联的融合策略,充分利用图文局部和全局信息来提高特征表示能力。最后,在3个公开数据集上进行综合实验,验证了所提方法的优越性,通过消融实验证明了所提方法各组件的有效性。
-
关键词
多模态
CLIP
对比学习
预训练模型
情感分析
-
Keywords
Multimodal
CLIP
Contrastive learning
Pre-trained models
Sentiment analysis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
