期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
基于卷积交叉注意力与跨模态动态门控的多模态情感分析模型
1
作者 仲兆满 樊继冬 +3 位作者 张渝 王晨 吕慧慧 张丽玲 《智能系统学报》 北大核心 2025年第4期999-1009,共11页
在多模态情感分析任务中,现有方法由于忽视了图像与文本之间的情感关联性,导致融合特征存在大量冗余特征。为此,提出了一种基于卷积交叉注意力与跨模态动态门控的多模态情感分析模型(convolutional cross-attention and cross-modal dyn... 在多模态情感分析任务中,现有方法由于忽视了图像与文本之间的情感关联性,导致融合特征存在大量冗余特征。为此,提出了一种基于卷积交叉注意力与跨模态动态门控的多模态情感分析模型(convolutional cross-attention and cross-modal dynamic gating,CCA-CDG)。CCA-CDG通过引入卷积交叉注意力模块(convolutional cross-attention module,CCAM)来捕捉图像与文本间的一致性表达,获取图文之间的对齐特征;同时利用跨模态动态门控模块(cross-modal dynamic gating module,CDGM),根据图文之间的情感关联性动态调节情感特征的融合。此外,考虑到图文上下文信息对于理解情感的重要性,还设计了一个全局特征联合模块,将图文交互特征与全局特征权重融合,实现更可靠的情感预测。在MVSA-Single和MVSA-Multi数据集上进行实验验证,所提出的CCA-CDG能够有效改善多模态情感分析的效果。 展开更多
关键词 多模态融合 情感分析 情感关联性 注意力机制 卷积交叉注意力 跨模态动态门控 全局特征联合 权重融合
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部