深度学习算法在虚假新闻检测关键特征提取方面具有优势,然而,现有的基于深度学习的多模态虚假新闻检测方法仍存在不足之处,例如,从输入的图像与文本中提取特征并进行特征融合时存在融合不充分的问题。针对这一问题,该文提出了一种基于...深度学习算法在虚假新闻检测关键特征提取方面具有优势,然而,现有的基于深度学习的多模态虚假新闻检测方法仍存在不足之处,例如,从输入的图像与文本中提取特征并进行特征融合时存在融合不充分的问题。针对这一问题,该文提出了一种基于多模态上下文融合及语义增强的虚假新闻检测模型MCEFSE(Multimodal Context based Early Fusion and Semantic Enhancement)。首先,该文利用预训练语言模型BERT对句子进行编码。同时,以Swin Transformer模型作为主要框架,在早期视觉特征编码时引入文本特征,增强语义交互。此外,我们还使用InceptionNetV3作为图像模式分析器。最后,对文本语义、视觉语义和图像模式特征进行细化和融合,得到最终的多模态特征表示。结果显示,MCEFSE模型在微博数据集和微博-21数据集上的准确率分别为0.921和0.932,验证了该方法的有效性。展开更多
目前层次型或深度模糊系统性能优异,但是模型复杂度较高;而基于蒸馏学习的轻量型TSK(Takagi-Sugeno-Kang)模糊分类器主要以单教师知识蒸馏为主,若教师模型表现不佳,则会影响蒸馏效果和模型的整体性能;此外,传统的多教师蒸馏通常使用无...目前层次型或深度模糊系统性能优异,但是模型复杂度较高;而基于蒸馏学习的轻量型TSK(Takagi-Sugeno-Kang)模糊分类器主要以单教师知识蒸馏为主,若教师模型表现不佳,则会影响蒸馏效果和模型的整体性能;此外,传统的多教师蒸馏通常使用无标签策略分配教师模型输出的权重,容易使低质量教师误导学生。对此,本文提出了一种基于多教师自适应知识蒸馏的TSK模糊分类器(TSK fuzzy classifier based on multi-teacher adaptive knowledge distillation,TSK-MTAKD),以多个具有不同神经表达能力的深度神经网络为教师模型,利用本文提出的多教师知识蒸馏框架从多个深度学习模型中提取隐藏知识,并传递给具有强大不确定处理能力的TSK模糊系统。同时设计自适应权重分配器,将教师模型的输出与真实标签做交叉熵处理,更接近真实值的输出将被赋予更高权重,提高了模型的鲁棒性与隐藏知识的有效性。在13个UCI数据集上的实验结果充分验证了TSK-MTAKD的优势。展开更多
文摘深度学习算法在虚假新闻检测关键特征提取方面具有优势,然而,现有的基于深度学习的多模态虚假新闻检测方法仍存在不足之处,例如,从输入的图像与文本中提取特征并进行特征融合时存在融合不充分的问题。针对这一问题,该文提出了一种基于多模态上下文融合及语义增强的虚假新闻检测模型MCEFSE(Multimodal Context based Early Fusion and Semantic Enhancement)。首先,该文利用预训练语言模型BERT对句子进行编码。同时,以Swin Transformer模型作为主要框架,在早期视觉特征编码时引入文本特征,增强语义交互。此外,我们还使用InceptionNetV3作为图像模式分析器。最后,对文本语义、视觉语义和图像模式特征进行细化和融合,得到最终的多模态特征表示。结果显示,MCEFSE模型在微博数据集和微博-21数据集上的准确率分别为0.921和0.932,验证了该方法的有效性。
文摘目前层次型或深度模糊系统性能优异,但是模型复杂度较高;而基于蒸馏学习的轻量型TSK(Takagi-Sugeno-Kang)模糊分类器主要以单教师知识蒸馏为主,若教师模型表现不佳,则会影响蒸馏效果和模型的整体性能;此外,传统的多教师蒸馏通常使用无标签策略分配教师模型输出的权重,容易使低质量教师误导学生。对此,本文提出了一种基于多教师自适应知识蒸馏的TSK模糊分类器(TSK fuzzy classifier based on multi-teacher adaptive knowledge distillation,TSK-MTAKD),以多个具有不同神经表达能力的深度神经网络为教师模型,利用本文提出的多教师知识蒸馏框架从多个深度学习模型中提取隐藏知识,并传递给具有强大不确定处理能力的TSK模糊系统。同时设计自适应权重分配器,将教师模型的输出与真实标签做交叉熵处理,更接近真实值的输出将被赋予更高权重,提高了模型的鲁棒性与隐藏知识的有效性。在13个UCI数据集上的实验结果充分验证了TSK-MTAKD的优势。
