摘要
【目的/意义】随着社交网络的复杂化,当前谣言往往是由描述事件的文本、对应的图片或者视频组成,多种模态的谣言更容易给用户传达一种错误的认知。现有谣言检测的研究往往只使用谣言文本特征,且未能充分挖掘谣言与事件存在的联系。【方法/过程】因此本文提出一种基于增强对抗网络和多模态融合的谣言检测方法,使用BERT和Text-CNN提取文本特征,使用VGG-19网络提取图像特征,再通过注意力机制捕捉多个模态的特征交互,最后使用增强对抗网络来挖掘谣言和事件之间联系。【结果/结论】在公开的微博多模态数据集上进行对比实验,实验结果表明该方法检测的准确率达到了92.5%,相较于传统单模态和现有多模态模型,提升了约10%~20%。【创新/局限】本文将对抗网络和多模态特征融入谣言检测中,有效提升了谣言检测的效果,但目前仅尝试了文本和图像两种模态的结合,如何融合更多模态的特征后续有待研究。
【Purpose/significance】With the complexity of social networks,current rumors are often composed of text describing events,corresponding pictures or videos,and multimodal rumors are more likely to convey a wrong cognition to users.The existing research on rumor detection only uses the text features of rumor,and fails to fully explore the relationship between rumor and event.【Method/process】Therefore,this paper proposes a rumor detection method based on enhanced adversary network and multimodal fusion.It uses BERT and Text CNN to extract text features,VGG-19 network to extract image features,and then uses attention mechanism to capture multi-modal feature interaction.Finally,it uses enhanced adversary network to mine the relationship between rumors and events.【Result/conclusion】The experimental results show that the detection accuracy of this method reaches 92.5%,which is about 10~20%higher than that of traditional single-mode and existing multi-mode models.【Innovation/limitation】At present,only the combination of text and image modes has been tried.There are still many short video and voice data on social media.How to integrate more modal features needs to be studied in the future.
作者
唐樾
马静
TANG Yue;MA Jing(College of Economic and Management,Nanjing University of Aeronautics and Astronautics,Nanjing 211106,China)
出处
《情报科学》
CSSCI
北大核心
2022年第6期108-114,131,共8页
Information Science
基金
国家自然科学基金“基于多模态特征融合的网络舆情智能发现与检测及演化研究”(72174086)
南京航空航天大学前瞻性发展策略研究基金项目“基于网络舆情大数据的我国跨境电商营商环境优化策略研究”(NW2020001)
研究生开放基金“基于BERT模型的短文本分类方法与应用研究”(kfjj20200907)。
关键词
多模态融合
对抗网络
谣言检测
深度学习
自然语言处理
multimodal fusion
adversarial network
rumor detection
deep learning
natural language processing
作者简介
唐樾(1997-),男,湖北黄冈人,硕士生,主要从事自然语言处理和机器学习研究;通讯作者:马静(1968-),女,重庆人,教授,博士生导师,主要从事大数据网络舆情分析、企业信息化研究,majing5525@126.com。
