-
题名基于rDNA-DS的多模态讽刺识别
- 1
-
-
作者
柏振
徐长波
曹少中
金子煊
侯国鹏
-
机构
北京印刷学院信息工程学院
-
出处
《计算机工程与设计》
北大核心
2025年第7期2126-2133,共8页
-
基金
北京市自然基金项目-北京市教委科技计划重点基金项目(KZ202010015021)
专业学位研究生联合培养基地建设-电子信息基金项目(21090223001)。
-
文摘
为有效解决多模态特征难以充分融合导致的推文讽刺预测准确率不高问题,提出一种基于rDNA-DS的多模态融合机制。采用RoBERTa、CLIP以及DaViT提取文本、图像属性和图像3种模态特征。通过改进的rDNA融合方法与SENet注意力通道所组成的rDNA-DS融合机制对3种模态进行融合,以文本特征为主,图像和图像属性特征为辅,合理分配通道注意力。对于Twitter数据集,实验结果表明,基于rDNA-DS融合机制,模型讽刺预测准确率达到93.81%,F1值为92.39%。将实验结果与基准模型和其它模型进行比较,验证了rDNA-DS机制可有效融合多种模态信息,在讽刺预测上取得更好的成绩。
-
关键词
多模态
情感分析
讽刺检测
推理双注意力网络
预训练模型
通道注意力
卷积神经网络
-
Keywords
multimodal
sentiment analysis
sarcasm detection
reasoning-DAN
RoBERTa
SENet
CNN
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
