-
题名融合语言特征的多模态中文反讽识别模型
- 1
-
-
作者
胡文彬
陈龙
韩天乐
仲兆满
马常霞
-
机构
江苏海洋大学计算机工程学院
-
出处
《郑州大学学报(理学版)》
北大核心
2025年第5期16-23,共8页
-
基金
国家自然科学基金项目(72174079)
江苏省“青蓝工程”优秀教学团队项目(2022-29)。
-
文摘
针对图文模态间不一致性问题和未充分关注文本内含信息的问题,提出了融合语言特征的多模态中文反讽识别模型。利用卡方统计方法提取具有反讽和非反讽含义的词语,构建语言特征体系。使用TextCNN提取语言特征,加强反讽特征与非反讽特征的区别。采用TextCNN和ResNet提取文本和图像特征,并引入交叉注意力机制,以残差连接融合图文特征,更好地保留了语言特征。使用了包含网民反讽评论的突发事件多模态数据集验证了所提模型的有效性,结果表明,该模型优于基线模型,关注文本语言特征有助于提高解决问题的效率。
-
关键词
语言特征
中文反讽识别
突发事件
多模态
-
Keywords
linguistic feature
Chinese sarcasm detection
emergency event
multimodality
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名融合交叉注意力的突发事件多模态中文反讽识别模型
被引量：3
- 2
-
-
作者
胡文彬
陈龙
黄贤波
陈晨
仲兆满
-
机构
江苏海洋大学计算机工程学院
江苏省海洋资源开发研究院
-
出处
《智能系统学报》
CSCD
北大核心
2024年第2期392-400,共9页
-
基金
国家自然科学基金项目(72174079)
江苏省“青蓝工程”优秀教学团队(2022-29)。
-
文摘
网民在社交媒体参与突发事件讨论时,时常会采用反讽修辞方式表达对事件的看法,此举导致情感分析的难度增加,且已有中文反讽识别对社交媒体中网民发布的多模态评论研究较少,有必要对图文多模态中文反讽识别进行深入研究。运用交叉注意力机制捕捉模态间的不一致性表达,提出融合交叉注意力的多模态中文反讽识别模型(fuse cross attention model,FCAM)。在模型中,首先运用TextCNN(text convolutional neural networks)和ResNet(deep residual network)分别提取中文文本浅层特征和图像特征,再运用交叉注意力机制分别得到文本层和图像层的注意力特征,按照残差方式分别实现文本浅层特征和文本层注意力特征的连接、图像特征和图像层注意力特征的连接,使用注意力机制融合2个特征表示,经过分类层得到反讽分类结果。基于某一地区新冠疫情期间相关话题的微博评论数据,构建出突发公共卫生事件多模态中文反讽数据集,在该数据集上试验验证,相较于基准模型,FCAM具有一定的优越性。
-
关键词
突发事件
社交媒体
多模态评论
中文反讽识别
中文反讽数据集
交叉注意力机制
注意力机制
情感分析
-
Keywords
emergency
social media
multimodal comment
Chinese sarcasm detection
Chinese sarcasm dataset
crossattention mechanism
attention mechanism
sentiment analysis
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
