-
题名基于证据增强和局部语义交互的多模态虚假新闻检测
- 1
-
-
作者
钟将
高晋鹏
黄敬旺
杨钰铭
-
机构
重庆大学计算机学院
-
出处
《计算机学报》
北大核心
2025年第3期556-571,共16页
-
基金
国家自然科学基金(62176029)
重庆市科技创新与应用发展专项基金(CSTB2023TIAD-KPX0064、CSTB2022TIAD-KPX0206)的部分资助。
-
文摘
多模态虚假新闻检测的目标是判断新闻中图像和文本内容的真实性。现有虚假新闻检测方法主要存在以下两种问题:(1)现有方法通常从整体语义角度融合图文特征,忽略了图文局部语义之间的联系,导致模型不能有效捕捉图文局部语义差异性;(2)新闻的真实性往往基于可靠的证据和事实,现有方法仅依赖新闻本身的图像和文本难以判断其真假。鉴于此,本研究提出了一种基于证据增强和局部语义交互的多模态虚假新闻检测模型。针对新闻缺乏事实依据的问题,该模型引入证据文本并设计了一种证据增强方法,该方法通过证据文本筛选网络,剔除证据文本中的冗余信息,并利用自注意力模块实现新闻文本的证据增强。同时,为了增强图像语义信息,该模型先从图像块中提取局部特征,再通过双向GRU图像语义增强网络,捕获图像序列特征的上下文关系,并利用自注意力模块将图像中嵌入的文字作为新闻背景信息融入图像特征。最后,针对局部语义信息交互问题,该模型使用交叉注意力模块,学习证据增强后的文本特征和语义增强后的图像特征之间的互补信息,增强细粒度的局部语义交互,实现多模态虚假新闻的精确检测。在Weibo数据集与MR2中英文数据集上的实验结果表明,本文提出的模型性能优于基线方法,在各数据集的准确率上分别提高了0.8%、2.4%、4.9%。此外,在IKCEST第五届“一带一路”国际大数据竞赛中,使用该模型指定的方案从全球3809个方案中取得第一的成绩,证实了该方案的有效性。
-
关键词
多模态虚假新闻检测
证据增强
局部语义交互
证据文本筛选
图像语义增强
-
Keywords
multimodal fake news detection
evidence enhancement
local semantic interaction
evidence text screening
enhance image semantic
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
