针对目前多模态情感分析在处理模态间交互作用及捕捉模态异质性不充分导致分类结果不准确的问题,提出一种基于反馈机制及特征分解的多模态情感分析模型(feedback mechanism and feature decomposition,FMFD)。该模型整合了反馈机制与对...针对目前多模态情感分析在处理模态间交互作用及捕捉模态异质性不充分导致分类结果不准确的问题,提出一种基于反馈机制及特征分解的多模态情感分析模型(feedback mechanism and feature decomposition,FMFD)。该模型整合了反馈机制与对比特征分解技术,采用反馈模块实现跨模态互动,并通过特征掩码调优输入的模态信息。通过特征分解器将模态信息细分为模态共同特征和模态特定特征,并引入层次对比学习损失函数来强化这些特征,从而捕获不同模态及样本间的相似性和异质性,以便实现多模态特征融合与情感预测任务。在3个标准数据集上的实验结果表明,该模型在多项评价指标上优于其它使用方法,验证了该模型在多模态情感分析方面的有效性。展开更多
文摘针对目前多模态情感分析在处理模态间交互作用及捕捉模态异质性不充分导致分类结果不准确的问题,提出一种基于反馈机制及特征分解的多模态情感分析模型(feedback mechanism and feature decomposition,FMFD)。该模型整合了反馈机制与对比特征分解技术,采用反馈模块实现跨模态互动,并通过特征掩码调优输入的模态信息。通过特征分解器将模态信息细分为模态共同特征和模态特定特征,并引入层次对比学习损失函数来强化这些特征,从而捕获不同模态及样本间的相似性和异质性,以便实现多模态特征融合与情感预测任务。在3个标准数据集上的实验结果表明,该模型在多项评价指标上优于其它使用方法,验证了该模型在多模态情感分析方面的有效性。
