-
题名基于帧内-帧间自融合的双流泛化人脸伪造检测方法
- 1
-
-
作者
董丰恺
邹晓强
王佳慧
马利民
杨文元
刘熙尧
-
机构
中南大学计算机学院
国家信息中心网络安全部
北京信息科技大学计算机学院
中山大学网络空间安全学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2024年第10期185-195,共11页
-
基金
国家自然科学基金青年基金(61602527)
湖南省自然科学基金面上项目(2020JJ4746)
+1 种基金
湖南省创新生态建设计划-政策性项目(2022GK5002)
长沙市杰出创新青年培养计划(kq2209003)。
-
文摘
现有人脸伪造检测方法往往在已知伪造类型上表现良好,但面对未知数据时检测性能有所下降,模型易受到过拟合的影响,检测泛化性不足。针对此问题,提出一种基于帧内-帧间自融合的双流泛化人脸伪造检测方法,从数据增强和检测器改进2个方面提高检测泛化性。设计帧内-帧间自融合模块,分别利用同帧人脸、帧间人脸进行数据增强:帧内自融合子模块利用同帧人脸生成训练数据,从而避免人脸图像身份信息干扰;帧间自融合子模块利用伪造视频的帧间不一致性,进一步构造多样性丰富、逼真的训练数据集,从而有效防止模型的过拟合,确保检测模型的泛化能力。此外,设计基于通道注意力机制的双流特征融合网络,在网络的浅层提取RGB特征、高频特征并进行融合来挖掘伪造信息,在提升模型性能的同时缓解网络的参数增长。将模型在4个数据集上与9种主流检测方法进行对比实验,结果表明:在跨数据集实验中,所提方法较次优方法AUC均值提高1.52个百分点,EER均值降低1.5个百分点;在跨伪造方法实验中,所提方法在4种伪造方法子数据集上均取得最优或次优效果。实验结果验证了该方法优秀的泛化能力。
-
关键词
人脸伪造检测
帧内-帧间自融合
特征融合
注意力机制
双流网络
泛化能力
-
Keywords
face forgery detection
inter-intra frame self-blending
feature fusion
attention mechanism
dual-stream network
generalization ability
-
分类号
TP309
[自动化与计算机技术—计算机系统结构]
-
