期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
融合外部知识与证据的场景图注意力网络多模态谣言检测
1
作者
黄学坚
马廷淮
+3 位作者
荣欢
王根生
廖国琼
刘德喜
《计算机学报》
北大核心
2025年第9期2159-2180,共22页
社交媒体上谣言的泛滥对社会造成了严重的负面影响。随着多模态内容在社交媒体中的迅速增长,多模态谣言检测受到了越来越多的关注。目前,大多数方法主要聚焦于学习各个模态的特征,并通过特征融合实现不同模态信息的互补。然而,这些方法...
社交媒体上谣言的泛滥对社会造成了严重的负面影响。随着多模态内容在社交媒体中的迅速增长,多模态谣言检测受到了越来越多的关注。目前,大多数方法主要聚焦于学习各个模态的特征,并通过特征融合实现不同模态信息的互补。然而,这些方法存在两个关键问题:(1)不同特征空间之间的跨模态关联难以有效捕捉图文细粒度语义的一致性;(2)单纯依赖图文内容难以识别一些造谣者精心设计的深层语义不匹配的谣言。为此,本文提出了融合证据与知识的场景图注意力网络的多模态谣言检测方法。首先,基于预训练的语言和视觉模型,分别提取文本语义和图像视觉特征,并通过误差级别分析提取图像篡改特征;其次,构建了一种基于反事实推理的无偏场景图生成方法和微调的Flan-T5模型,分别将图像和文本转化为视觉场景图和文本场景图,并利用知识蒸馏从知识库中提取场景图实体的相关知识,以增强模型对场景图的深层语义理解;接着,设计了一种融合场景关系特征的场景图注意力网络,以挖掘图文间的细粒度语义匹配特征;最后,从互联网中筛选与待检验帖子相关的文本和图片证据,并通过交叉注意力机制实现证据与待检验帖子的交互对齐,提升模型对深层语义不匹配谣言的识别能力。实验表明,在Weibo和Twitter两个真实社交网络数据集上,本文提出的方法在宏准确率上比最佳基线方法分别提高了1.6%和2.2%,而在谣言类别的F1值上,分别提高了2.6%和3.0%。实验数据和代码已在GitHub上开源共享(https://github.com/xuejianhuang/SGKE)。
展开更多
关键词
多模态
谣言检测
场景图注意力网络
图文语义匹配
多模态证据对齐
知识增强
在线阅读
下载PDF
职称材料
题名
融合外部知识与证据的场景图注意力网络多模态谣言检测
1
作者
黄学坚
马廷淮
荣欢
王根生
廖国琼
刘德喜
机构
江西财经大学虚拟现实(VR)现代产业学院
南京信息工程大学计算机学院
江苏海洋大学计算机工程学院
江西财经大学信息管理与数学学院
江西财经大学计算机与人工智能学院
出处
《计算机学报》
北大核心
2025年第9期2159-2180,共22页
基金
国家自然科学基金面上项目(62372243,62272206)
江西省自然科学基金青年项目(20242BAB20074)
江西省高校人文社会科学研究项目(JC24219)资助。
文摘
社交媒体上谣言的泛滥对社会造成了严重的负面影响。随着多模态内容在社交媒体中的迅速增长,多模态谣言检测受到了越来越多的关注。目前,大多数方法主要聚焦于学习各个模态的特征,并通过特征融合实现不同模态信息的互补。然而,这些方法存在两个关键问题:(1)不同特征空间之间的跨模态关联难以有效捕捉图文细粒度语义的一致性;(2)单纯依赖图文内容难以识别一些造谣者精心设计的深层语义不匹配的谣言。为此,本文提出了融合证据与知识的场景图注意力网络的多模态谣言检测方法。首先,基于预训练的语言和视觉模型,分别提取文本语义和图像视觉特征,并通过误差级别分析提取图像篡改特征;其次,构建了一种基于反事实推理的无偏场景图生成方法和微调的Flan-T5模型,分别将图像和文本转化为视觉场景图和文本场景图,并利用知识蒸馏从知识库中提取场景图实体的相关知识,以增强模型对场景图的深层语义理解;接着,设计了一种融合场景关系特征的场景图注意力网络,以挖掘图文间的细粒度语义匹配特征;最后,从互联网中筛选与待检验帖子相关的文本和图片证据,并通过交叉注意力机制实现证据与待检验帖子的交互对齐,提升模型对深层语义不匹配谣言的识别能力。实验表明,在Weibo和Twitter两个真实社交网络数据集上,本文提出的方法在宏准确率上比最佳基线方法分别提高了1.6%和2.2%,而在谣言类别的F1值上,分别提高了2.6%和3.0%。实验数据和代码已在GitHub上开源共享(https://github.com/xuejianhuang/SGKE)。
关键词
多模态
谣言检测
场景图注意力网络
图文语义匹配
多模态证据对齐
知识增强
Keywords
multimodal rumor detection
scene graph attention network
image-text semantic matching
multimodal evidence alignment
knowledge enhancement
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
融合外部知识与证据的场景图注意力网络多模态谣言检测
黄学坚
马廷淮
荣欢
王根生
廖国琼
刘德喜
《计算机学报》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
