-
题名面向人脸属性编辑的三阶段对抗扰动生成主动防御算法
被引量：1
- 1
-
-
作者
陈北京
张海涛
李玉茹
-
机构
南京信息工程大学教育部数字取证工程研究中心
南京信息工程大学江苏省大气环境与装备技术协同创新中心
南京信息工程大学计算机学院、网络空间安全学院
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第3期677-689,共13页
-
基金
国家自然科学基金(62072251,62072250)资助.
-
文摘
针对恶意人脸属性编辑行为,基于取证的被动防御技术只能对篡改行为进行取证并不能防止其产生,从而难以消除恶意篡改行为已经造成的损失.因此,主动防御技术应运而生,其可以破坏属性编辑的输出从而避免人脸被篡改使用.然而,现有两阶段训练人脸篡改主动防御框架存在迁移性和扰动鲁棒性不足的问题,为此本文通过优化两阶段训练架构及损失函数和引入一个辅助分类器,提出一种三阶段对抗扰动主动防御框架.本文首先修改两阶段训练架构中的代理目标模型并基于此设计了训练扰动生成器的属性编辑损失,以提升代理模型的重建性能和属性约束能力,从而减少对代理模型的过拟合;其次,在训练阶段引入辅助分类器对代理模型提取的编码后特征进行源属性分类并基于此设计训练扰动生成器的辅助分类器损失,从而将原本的两阶段交替训练改为代理目标模型、辅助分类器和扰动生成器的三阶段交替训练,期望通过对抗攻击辅助分类器以促进对篡改模型的主动防御;最后,在扰动生成器的训练中,引入攻击层以促进对抗扰动对滤波和JPEG压缩的鲁棒性.实验结果验证,本文提出的框架能够比现有框架更好地将主动防御从白盒的代理目标模型迁移到黑盒的属性编辑模型,黑盒性能提升16.17%,且生成的对抗扰动较基线算法具有更强的鲁棒性,针对JPEG压缩的性能(PSNR)提升13.91%,针对高斯滤波提升17.76%.
-
关键词
人脸属性编辑
主动防御
对抗攻击
辅助分类器
交替训练
-
Keywords
facial attribute editing
active defense
adversarial attack
auxiliary classifier
alternate training
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名视觉识别深度学习模型的黑盒迁移攻击方法综述
- 2
-
-
作者
邵文泽
滕臻
朱富坤
孙玉宝
-
机构
南京邮电大学通信与信息工程学院
南京邮电大学贝尔英才学院
南京信息工程大学教育部数字取证工程研究中心
-
出处
《南京邮电大学学报（自然科学版）》
北大核心
2024年第5期47-60,共14页
-
基金
国家自然科学基金(92470126,62276139,U2001211)资助项目。
-
文摘
随着深度学习的快速发展,视觉领域的众多任务得到了有效解决。在性能不断提升的同时,对抗样本的发现引发了关于深度学习可靠性、安全性的反思。相较于早期的白盒攻击,黑盒迁移攻击无需获取被攻击模型的网络架构、参数等敏感信息,因而不易察觉,威胁相对较大。目前的综述文献主要围绕对抗攻击或对抗攻击和防御做全面总结,对视觉识别深度模型的黑盒迁移攻击方法往往未做专题性回顾与展望,为此文中特别围绕黑盒迁移攻击的最新进展进行了全面的梳理和总结。首先,从优化和学习两种视角介绍了黑盒迁移攻击的基本模型。对于优化视角下的迁移攻击,具体从梯度扰动更新、样本邻域增广以及模型决策代理等三方面对现有文献做了梳理和分析。对于学习视角下的迁移攻击,具体从通用扰动和生成扰动两方面对现有文献做了进一步梳理和分析。最后,总结出了当前黑盒迁移攻击方法的两个核心:最优解平滑性和特征语义引导,同时指出未来工作的重点和难点在于黑盒迁移攻击的可解释性与泛化性。
-
关键词
迁移攻击
对抗攻击
黑盒攻击
深度学习
优化攻击
学习攻击
-
Keywords
transfer attack
adversarial attack
black-box attack
deep learning
optimization attack
learning attack
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于逐层增量分解的深度网络神经元相关性解释方法
被引量：1
- 3
-
-
作者
陈艺元
李建威
邵文泽
孙玉宝
-
机构
智能信息处理与通信技术省高校重点实验室(南京邮电大学)
南京邮电大学通信与信息工程学院
南京信息工程大学教育部数字取证工程研究中心
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2024年第10期2049-2062,共14页
-
基金
国家自然科学基金(61771250,61972213,62276139,U2001211),青蓝工程资助。
-
文摘
神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分解的神经网络解释新方法LID-Taylor(Layer-wise increment decomposition),且在此基础上先后引入针对顶层神经元相关性的对比提升策略,以及针对所有层神经元相关性的非线性提升策略,最后利用交叉组合策略得到最终方法SIG-LID-IG,实现了决策归因性能的鲁棒跃升.通过热力图对现有工作与提出方法的决策归因性能做了定性定量评估.结果显示,SIG-LID-IG在神经元的正、负相关性的决策归因合理性上均可媲美甚至优于现有工作.SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因.
-
关键词
神经网络
可解释性
决策相关性
逐层相关性传播
类激活图
积分梯度
-
Keywords
Neural network
explainability
decision relevance
layer-wise relevance propagation(LRP)
class activation map
integrated gradients(IG)
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名一种基于迭代累积梯度的多层特征重要性攻击方法
- 4
-
-
作者
吴骥
邵文泽
葛琦
孙玉宝
-
机构
南京邮电大学通信与信息工程学院
南京信息工程大学教育部数字取证工程研究中心
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2024年第11期3798-3808,共11页
-
基金
国家自然科学基金(No.61771250,No.61972213)。
-
文摘
对抗样本的可迁移性对于攻击未知模型至关重要,这在实际场景中为对抗性攻击提供了可行性.现有的迁移攻击倾向于通过不加选择地扭曲特征来降低源模型的预测精度,但是忽略了图像中目标的内在特征.受到现有关于提取特征重要性工作的启发,本文提出一种多层累积梯度攻击方法,以破坏主导模型决策的重要目标感知特征.具体而言,本文通过引入迭代累积梯度来获得特征重要性,这种梯度将与目标主体部分高度相关,从而帮助实现更好的迁移攻击.进一步,本文在不同中间层进行组合攻击,最终实现了多层累积梯度攻击.大量结果表明,相较对比实验中的最好方法,本文所提方法在正常训练模型下以更高的攻击效率取得了与之相当的攻击成功率,而在防御模型下的攻击成功率提高了2.6个百分点.
-
关键词
对抗攻击
黑盒攻击
迁移性
特征重要性
迭代累积梯度
-
Keywords
adversarial attacks
black-box attack
transferability
feature importance
iterative accumulated gradient
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名一种语义引导的神经网络关键数据路由路径算法
- 5
-
-
作者
朱富坤
滕臻
邵文泽
葛琦
孙玉宝
-
机构
南京邮电大学通信与信息工程学院
南京邮电大学贝尔英才学院
南京信息工程大学教育部数字取证工程研究中心
-
出处
《计算机科学》
CSCD
北大核心
2024年第9期155-161,共7页
-
基金
国家自然科学基金(61771250,61972213)。
-
文摘
近年来,由于人工智能在各领域的普及,研究神经网络的可解释方法及理解神经网络的运作机理已经成为一个愈发重要的话题。作为神经网络解释性方法的一个分支,网络的路径可解释性受到了越来越多的关注。文中特别探讨了关键数据路由路径(Critical Data Routing Path,CDRP)这一面向网络路径的可解释方法。首先,通过Score-CAM(Score-Class Activation Map)方法分析了CDRP在输入域上的路径可视化归因,指出CDRP方法在语义层面的潜在缺陷。然后,提出了一种语义引导的Score-CDRP方法,从方法机理上提升了CDRP与原始神经网络的语义一致性。最后,通过实验从路径热力图可视化以及相应的预测与定位精度等角度验证了Score-CDRP方法相较于CDRP的合理性、有效性和鲁棒性。
-
关键词
计算机视觉
深度神经网络
神经网络可解释性
特征可视化
网络剪枝
热力图
-
Keywords
Computer vision
Deep neural networks
Interpretability of neural networks
Feature visualization
Network pruning
Heatmap
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
