-
题名基于二元模态表示学习与融合网络的多模态情感分析
- 1
-
-
作者
程艳
詹勇鑫
项国雄
喻晓琛
马明宇
-
机构
江西师范大学软件学院
江西师范大学江西省智能信息处理与情感计算重点实验室
江西师范大学计算机信息工程学院
江西师范大学新闻与传播学院
-
出处
《中文信息学报》
北大核心
2025年第3期129-138,共10页
-
基金
国家自然科学基金(62167006,61967011)
江西省科技创新基地计划——智能信息处理与情感计算省重点实验室(2024BCC32021)
+2 种基金
江西省主要学科学术和技术带头人培养计划——领军人才项目(20213BCJL22047)
江西省03专项及5G项目(20212ABC03A22)
江西省自然科学基金(20212BAB202017)。
-
文摘
多模态情感分析作为情感分析中的一个新兴的研究领域,旨在利用多模态信号识别情感。已有的研究方法在缓解不同模态的分布差异和模型的鲁棒性方面存在不足。为了解决以上问题,该文提出了一种基于二元模态表示学习与融合网络(Bimodal Representation Learning and Fusion Network,BRLAFN)。具体而言,该网络学习二元模态之间的模态共同特征来减少模态差距,学习模态私有特征,确保模态特定信息的存在。然后,采用重建损失和循环一致性损失来确保模态特征的稳定性和一致性。最后,利用跨模态注意力实现模态间的互补学习。该文在流行情感分析基准(CMU-MOSI和CMU-MOSEI)上的实验结果表明,与同期最先进的模型相比,该网络取得了显著的性能提升。
-
关键词
多模态
表示学习
情感分析
-
Keywords
multi-modal
representation learning
sentiment analysis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多层的模态渐进交互融合的图文情感分析
- 2
-
-
作者
程艳
房成兴
姚宇肖
詹勇鑫
俞恭成
陈彦滢
-
机构
江西师范大学软件学院
江西师范大学计算机信息工程学院
江西师范大学数字产业学院
江西师范大学江西省智能信息处理与情感计算重点实验室
-
出处
《中文信息学报》
北大核心
2025年第5期120-128,共9页
-
基金
国家自然科学基金(62167006)
江西省科技创新基地计划——智能信息处理与情感计算江西省重点实验室(20242BCC32021)
+2 种基金
江西省主要学科学术和技术带头人培养计划——领军人才项目(20213BCJL22047)
国家社会科学基金(20AXW009)
江西省自然科学基金(20212BAB202017)。
-
文摘
相较于单模态数据,多模态数据提供了更丰富的信息,使得模型能够从不同维度来分析数据的情感。以往的研究没有充分探索和利用文本与图像数据之间的信息关联。针对上述问题,该文提出一种基于多层的模态渐进交互融合(Multi-Layer Modal Progressive Interaction Fusion,MLMPIF)的图文情感分析模型,以充分探索文本和图像数据之间的信息。该模型从文本和图像中提取到的文本特征、形容词名词对特征和图像特征进行多层渐进交互融合,即先从图像中提取的形容词名词对,增强图像语义理解,并通过门控多模态融合组件实现文本和图像模态的融合,最后,模型引入组合注意力互补组件,促进单模态与融合特征的深入交互,生成更全面的多模态情感特征信息。在MVSA-Single和MVSA-Multiple数据集上进行的实验表明,与主流方法相比,该文的方法对于多模态情感检测是有效的。
-
关键词
图文情感分析
形容词名词对
门控多模态融合
-
Keywords
graphic sentiment analysis
adjective noun pairs
gated multimodal fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
