深度学习算法在虚假新闻检测关键特征提取方面具有优势,然而,现有的基于深度学习的多模态虚假新闻检测方法仍存在不足之处,例如,从输入的图像与文本中提取特征并进行特征融合时存在融合不充分的问题。针对这一问题,该文提出了一种基于...深度学习算法在虚假新闻检测关键特征提取方面具有优势,然而,现有的基于深度学习的多模态虚假新闻检测方法仍存在不足之处,例如,从输入的图像与文本中提取特征并进行特征融合时存在融合不充分的问题。针对这一问题,该文提出了一种基于多模态上下文融合及语义增强的虚假新闻检测模型MCEFSE(Multimodal Context based Early Fusion and Semantic Enhancement)。首先,该文利用预训练语言模型BERT对句子进行编码。同时,以Swin Transformer模型作为主要框架,在早期视觉特征编码时引入文本特征,增强语义交互。此外,我们还使用InceptionNetV3作为图像模式分析器。最后,对文本语义、视觉语义和图像模式特征进行细化和融合,得到最终的多模态特征表示。结果显示,MCEFSE模型在微博数据集和微博-21数据集上的准确率分别为0.921和0.932,验证了该方法的有效性。展开更多
多数基于卷积神经网络的语义分割算法伴随庞大的参数量和计算复杂度,限制了其在实时处理场景中的应用。为解决该问题,提出了一种基于全局-局部上下文网络(GLCNet)的轻量级语义分割算法。该算法主要由全局-局部上下文(GLC)模块和多分辨...多数基于卷积神经网络的语义分割算法伴随庞大的参数量和计算复杂度,限制了其在实时处理场景中的应用。为解决该问题,提出了一种基于全局-局部上下文网络(GLCNet)的轻量级语义分割算法。该算法主要由全局-局部上下文(GLC)模块和多分辨率融合(MRF)模块构成。全局-局部上下文模块学习图像的全局信息和局部上下文信息,使用残差连接增强特征之间的依赖关系。在此基础上,提出了多分辨率融合模块聚合不同阶段的特征,对低分辨率特征进行上采样,与高分辨率特征融合增强高层特征的空间信息。在Cityscapes和Camvid数据集上进行测试,平均交并比(mIoU)分别达到69.89%和68.86%,在单块NVIDIA Titan V GPU上,速度分别达到87帧/s和122帧/s。实验结果表明:所提算法在分割精度、效率及参数量之间实现了较好的平衡,参数量仅有0.68×10^(6)。展开更多
文摘深度学习算法在虚假新闻检测关键特征提取方面具有优势,然而,现有的基于深度学习的多模态虚假新闻检测方法仍存在不足之处,例如,从输入的图像与文本中提取特征并进行特征融合时存在融合不充分的问题。针对这一问题,该文提出了一种基于多模态上下文融合及语义增强的虚假新闻检测模型MCEFSE(Multimodal Context based Early Fusion and Semantic Enhancement)。首先,该文利用预训练语言模型BERT对句子进行编码。同时,以Swin Transformer模型作为主要框架,在早期视觉特征编码时引入文本特征,增强语义交互。此外,我们还使用InceptionNetV3作为图像模式分析器。最后,对文本语义、视觉语义和图像模式特征进行细化和融合,得到最终的多模态特征表示。结果显示,MCEFSE模型在微博数据集和微博-21数据集上的准确率分别为0.921和0.932,验证了该方法的有效性。
文摘多数基于卷积神经网络的语义分割算法伴随庞大的参数量和计算复杂度,限制了其在实时处理场景中的应用。为解决该问题,提出了一种基于全局-局部上下文网络(GLCNet)的轻量级语义分割算法。该算法主要由全局-局部上下文(GLC)模块和多分辨率融合(MRF)模块构成。全局-局部上下文模块学习图像的全局信息和局部上下文信息,使用残差连接增强特征之间的依赖关系。在此基础上,提出了多分辨率融合模块聚合不同阶段的特征,对低分辨率特征进行上采样,与高分辨率特征融合增强高层特征的空间信息。在Cityscapes和Camvid数据集上进行测试,平均交并比(mIoU)分别达到69.89%和68.86%,在单块NVIDIA Titan V GPU上,速度分别达到87帧/s和122帧/s。实验结果表明:所提算法在分割精度、效率及参数量之间实现了较好的平衡,参数量仅有0.68×10^(6)。
