期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于证据增强和局部语义交互的多模态虚假新闻检测
1
作者 钟将 高晋鹏 +1 位作者 黄敬旺 杨钰铭 《计算机学报》 北大核心 2025年第3期556-571,共16页
多模态虚假新闻检测的目标是判断新闻中图像和文本内容的真实性。现有虚假新闻检测方法主要存在以下两种问题:(1)现有方法通常从整体语义角度融合图文特征,忽略了图文局部语义之间的联系,导致模型不能有效捕捉图文局部语义差异性;(2)新... 多模态虚假新闻检测的目标是判断新闻中图像和文本内容的真实性。现有虚假新闻检测方法主要存在以下两种问题:(1)现有方法通常从整体语义角度融合图文特征,忽略了图文局部语义之间的联系,导致模型不能有效捕捉图文局部语义差异性;(2)新闻的真实性往往基于可靠的证据和事实,现有方法仅依赖新闻本身的图像和文本难以判断其真假。鉴于此,本研究提出了一种基于证据增强和局部语义交互的多模态虚假新闻检测模型。针对新闻缺乏事实依据的问题,该模型引入证据文本并设计了一种证据增强方法,该方法通过证据文本筛选网络,剔除证据文本中的冗余信息,并利用自注意力模块实现新闻文本的证据增强。同时,为了增强图像语义信息,该模型先从图像块中提取局部特征,再通过双向GRU图像语义增强网络,捕获图像序列特征的上下文关系,并利用自注意力模块将图像中嵌入的文字作为新闻背景信息融入图像特征。最后,针对局部语义信息交互问题,该模型使用交叉注意力模块,学习证据增强后的文本特征和语义增强后的图像特征之间的互补信息,增强细粒度的局部语义交互,实现多模态虚假新闻的精确检测。在Weibo数据集与MR2中英文数据集上的实验结果表明,本文提出的模型性能优于基线方法,在各数据集的准确率上分别提高了0.8%、2.4%、4.9%。此外,在IKCEST第五届“一带一路”国际大数据竞赛中,使用该模型指定的方案从全球3809个方案中取得第一的成绩,证实了该方案的有效性。 展开更多
关键词 多模态虚假新闻检测 证据增强 局部语义交互 证据文本筛选 图像语义增强
在线阅读 下载PDF
双分支线索深度感知与自适应协同优化的多模态虚假新闻检测 被引量:1
2
作者 钟善男 彭淑娟 +2 位作者 柳欣 王楠楠 李太豪 《计算机学报》 EI CAS CSCD 北大核心 2023年第12期2612-2625,共14页
深度学习方法促使多模态虚假新闻检测领域快速发展,现有的检测模型通常从全局角度学习新闻图文间的跨模态语义关联,并利用共享语义内容获取检测的关键信息.然而,新闻内部的局部语义差异可能会限制模型有效利用跨模态语义关联的能力,其... 深度学习方法促使多模态虚假新闻检测领域快速发展,现有的检测模型通常从全局角度学习新闻图文间的跨模态语义关联,并利用共享语义内容获取检测的关键信息.然而,新闻内部的局部语义差异可能会限制模型有效利用跨模态语义关联的能力,其中潜在的非共享语义内容作为重要线索能够有效揭示虚假新闻的篡改意图和目的.为了解决上述问题,本文提出了一种双分支线索深度感知与自适应协同优化的多模态虚假新闻检测模型.该模型首先从图像显著区域和文本语义单词中提取细粒度的新闻特征,并使用跨模态加权残差网络从中学习共享语义线索.同时,根据所有图像区域和文本单词之间的语义相关性,双分支图文线索感知模块显式地建模共享与非共享语义内容的语义关联.其中,线索关联优化分支对两类语义内容的关联边界持续迭代优化,促使模型准确区分非共享语义线索;线索关联分析分支刻画两类语义内容的可信程度,并在此基础上引导模型实现线索的自主融合.通过上述自适应协同优化框架,本文提出的模型能够在复杂新闻语境下进行线索的深度感知与融合,实现更准确、更可解释的多模态虚假新闻检测.在广泛使用的中英文真实数据集上的实验结果表明,本文提出的模型明显优于基线方法,在准确率和虚假新闻检测精确率上分别平均提高了4.85%和4.50%. 展开更多
关键词 多模态虚假新闻检测 局部语义差异 模态语义关联 非共享语义线索 自适应协同优化
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部