计算机视觉领域对抗样本检测综述 被引量：1

1

作者 张鑫 张晗 +1 位作者 牛曼宇 姬莉霞 《计算机科学》 北大核心 2025年第1期345-361,共17页

随着数据量的增加和硬件性能的提升,深度学习在计算机视觉领域取得了显著进展.然而,深度学习模型容易受到对抗样本的攻击,导致输出发生显著变化.对抗样本检测作为一种有效的防御手段,可以在不改变模型结构的前提下防止对抗样本对深度学... 随着数据量的增加和硬件性能的提升,深度学习在计算机视觉领域取得了显著进展.然而,深度学习模型容易受到对抗样本的攻击,导致输出发生显著变化.对抗样本检测作为一种有效的防御手段,可以在不改变模型结构的前提下防止对抗样本对深度学习模型造成影响.首先,对近年来的对抗样本检测研究工作进行了整理,分析了对抗样本检测与训练数据的关系,根据检测方法所使用特征进行分类,系统全面地介绍了计算机视觉领域的对抗样本检测方法;然后,对一些结合跨领域技术的检测方法进行了详细介绍,统计了训练和评估检测方法的实验配置;最后,汇总了一些有望应用于对抗样本检测的技术,并对未来的研究挑战进行展望. 展开更多

关键词 深度学习 对抗样本攻击 对抗样本检测 人工智能安全 图像分类

在线阅读 下载PDF 职称材料

基于决策边界敏感性和小波变换的电磁信号调制智能识别对抗样本检测方法 被引量：4

2

作者 徐东伟 蒋斌 +5 位作者 朱慧燕 宣琦 王巍 林云 沈伟国 杨小牛 《信号处理》 CSCD 北大核心 2024年第4期625-638,共14页

深度学习在图像分类和分割、物体检测和追踪、医疗、翻译和语音识别等与人类相关的任务中取得了巨大的成功。它能够处理大量复杂的数据,并自动提取特征进行预测,因此可以更准确地预测结果。随着深度学习模型的不断发展,以及可获得的数... 深度学习在图像分类和分割、物体检测和追踪、医疗、翻译和语音识别等与人类相关的任务中取得了巨大的成功。它能够处理大量复杂的数据,并自动提取特征进行预测,因此可以更准确地预测结果。随着深度学习模型的不断发展,以及可获得的数据和计算能力的提高,这些应用的准确性不断提升。最近,深度学习也在电磁信号领域得到了广泛应用,例如利用神经网络根据信号的频域和时域特征对其进行分类。但神经网络容易受到对抗样本的干扰,这些对抗样本可以轻易欺骗神经网络,导致分类错误。因此,对抗样本的生成、检测和防护的研究变得尤为重要,这将促进深度学习在电磁信号领域和其他领域的发展。针对现阶段单一的检测方法的有效性不高的问题,提出了基于决策边界敏感性和小波变换重构的对抗样本检测方法。利用了对抗样本与正常样本对模型决策边界的敏感性差异来进行检测,接着针对第一检测阶段中未检测出的对抗样本,本文利用小波变换对样本进行重构,利用样本去噪前后在模型中的预测值差异来进行检测。本文在两种调制信号数据集上进行了实验分析,并与基线检测方法进行对比,此方法更优。这一研究的创新点在于综合考虑了模型决策边界的敏感性和小波变换的重构能力,通过巧妙的组合,提出了一种更为全面、精准的对抗样本检测方法。这为深度学习在电磁信号领域的稳健应用提供了新的思路和方法。 展开更多

关键词 对抗样本检测 小波重构 决策边界 电磁信号 对抗攻击

在线阅读 下载PDF 职称材料

图像对抗样本检测综述 被引量：2

3

作者 周涛 甘燃 +2 位作者 徐东伟 王竟亦 宣琦 《软件学报》 EI CSCD 北大核心 2024年第1期185-219,共35页

深度神经网络是人工智能领域的一项重要技术,它被广泛应用于各种图像分类任务.但是,现有的研究表明深度神经网络存在安全漏洞,容易受到对抗样本的攻击,而目前并没有研究针对图像对抗样本检测进行体系化分析.为了提高深度神经网络的安全... 深度神经网络是人工智能领域的一项重要技术,它被广泛应用于各种图像分类任务.但是,现有的研究表明深度神经网络存在安全漏洞,容易受到对抗样本的攻击,而目前并没有研究针对图像对抗样本检测进行体系化分析.为了提高深度神经网络的安全性,针对现有的研究工作,全面地介绍图像分类领域的对抗样本检测方法.首先根据检测器的构建方式将检测方法分为有监督检测与无监督检测,然后根据其检测原理进行子类划分.最后总结对抗样本检测领域存在的问题,在泛化性和轻量化等方面提出建议与展望,旨在为人工智能安全研究提供帮助. 展开更多

关键词 深度神经网络 对抗样本检测 人工智能安全 图像分类

在线阅读 下载PDF 职称材料

基于图像变换的无监督对抗样本检测方法研究 被引量：1

4

作者 章凌 赵波 黄林荃 《南京信息工程大学学报》 CAS 北大核心 2024年第6期760-770,共11页

深度神经网络(DNNs)对经过特殊设计的对抗样本存在脆弱性,容易受到欺骗.目前的检测技术虽能识别一些恶意输入,但在对抗复杂攻击手段时,其保护能力仍显不足.本文基于无标记数据提出一种新型无监督对抗样本检测方法,其核心思想是通过特征... 深度神经网络(DNNs)对经过特殊设计的对抗样本存在脆弱性,容易受到欺骗.目前的检测技术虽能识别一些恶意输入,但在对抗复杂攻击手段时,其保护能力仍显不足.本文基于无标记数据提出一种新型无监督对抗样本检测方法,其核心思想是通过特征的构建与融合,将对抗样本检测问题转化为异常检测问题,为此设计了图像变换、神经网络分类器、热力图绘制、距离计算以及异常检测器5个核心部分.先对原始图像进行变换处理,将变换前后的图像分别输入神经网络分类器,提取预测概率数组与卷积层特征绘制热力图,并将检测器从单纯关注模型输出层拓展到输入层特征,增强检测器对对抗样本和正常样本差异的建模和度量能力,进而计算变换前后图像的概率数组KL距离与热力图关注点变化距离,将距离特征输入异常检测器判断是否为对抗样本.在大尺寸高质量图像数据集ImageNet上进行实验,本检测器面向5种不同类型攻击取得的平均AUC值为0.77,展现出良好的检测性能.与其他前沿的无监督对抗样本检测器相比,本检测器在保持相近的误报率的情况下TPR大幅领先,检测能力具有明显优势. 展开更多

关键词 对抗样本检测 无监督学习 对抗攻击 深度神经网络 图像变换

在线阅读 下载PDF 职称材料

基于特征融合的电磁信号对抗样本检测方法

5

作者 徐东伟 蒋斌 +4 位作者 陈嘉峻 宣琦 王巍 赵文红 杨小牛 《电波科学学报》 CSCD 北大核心 2024年第5期926-933,共8页

针对电磁信号调制识别智能模型容易受到对抗样本攻击的问题,提出了一种基于特征融合的电磁信号对抗样本检测方法。该方法首先通过变分模态分解对测试样本进行去噪得到去噪后的电磁信号样本,然后分别将去噪前后的电磁信号样本输入到神经... 针对电磁信号调制识别智能模型容易受到对抗样本攻击的问题,提出了一种基于特征融合的电磁信号对抗样本检测方法。该方法首先通过变分模态分解对测试样本进行去噪得到去噪后的电磁信号样本,然后分别将去噪前后的电磁信号样本输入到神经网络模型中,接着计算去噪前后模型输出向量的余弦相似性值和置信度差值,最后将两个特征进行融合,输入到一个神经网络模型中进行检测。与基线方法相比,该方法在实验中取得了更高的检测成功率。本文方法具有时间复杂度低、易于实现的优点,为电磁信号调制识别智能模型提供了一种新颖的对抗样本检测方法。 展开更多

关键词 电磁信号调制识别 对抗样本检测 特征融合 余弦相似性 置信度差

在线阅读 下载PDF 职称材料

基于神经网络热图的对抗样本检测方法

6

作者 王德成 闫龙川 +5 位作者 郭永和 赵子岩 朱京 陈晓惠 崔磊 李勇男 《计算机应用与软件》 北大核心 2024年第12期146-153,共8页

针对深度神经网络面临对抗攻击威胁的问题,提出一种基于“热图”的对抗样本检测方法。引入“热图”的概念表示处理样本时神经网络的神经活动,将原始样本转换为活动启发式热图;分别将良性样本和对抗样本生成热图,进而训练二元分类器来识... 针对深度神经网络面临对抗攻击威胁的问题,提出一种基于“热图”的对抗样本检测方法。引入“热图”的概念表示处理样本时神经网络的神经活动,将原始样本转换为活动启发式热图;分别将良性样本和对抗样本生成热图,进而训练二元分类器来识别对抗样本。实验结果表明,该方法在面临针对MNIST和CIFAR-10数据集上的先进对抗攻击方法时,检测精度分别高达99.4%和93.9%。 展开更多

关键词 深度神经网络 热图 对抗样本 对抗样本检测 机器学习安全

在线阅读 下载PDF 职称材料

基于注意力机制的物理对抗样本检测方法研究 被引量：7

7

作者 魏忠诚 冯浩 +1 位作者 张新秋 连彬 《计算机应用研究》 CSCD 北大核心 2022年第1期254-258,共5页

随着深度学习的普及与发展,对抗样本的存在严重威胁着深度学习模型的安全。针对物理世界中对抗样本的攻击问题,提出了一种基于注意力机制的物理对抗样本检测方法。该方法将注意力机制与特征压缩相结合,对局部可视对抗样本主要区域进行... 随着深度学习的普及与发展,对抗样本的存在严重威胁着深度学习模型的安全。针对物理世界中对抗样本的攻击问题,提出了一种基于注意力机制的物理对抗样本检测方法。该方法将注意力机制与特征压缩相结合,对局部可视对抗样本主要区域进行针对性检测,排除非主要区域的影响,减少计算工作量;通过有效组合多种特征压缩方法对样本中的主要区域进行处理,破坏对抗噪声块的结构,使其失去攻击性。在MNIST和CIFAR-10数据集上对不同的对抗攻击进行防御测试,并与其他对抗防御方法进行对比实验。结果表明,该方法的防御准确率可达到95%以上,与其他局部对抗样本防御方法相比通用性高,稳定性更强,可有效防御局部可视对抗样本的攻击。 展开更多

关键词 深度学习 局部可视对抗样本 对抗样本检测 注意力机制 稳定性

在线阅读 下载PDF 职称材料

基于攻击成本的信号调制分类对抗样本检测算法

8

作者 宣琦 周涛 《浙江工业大学学报》 CAS 北大核心 2022年第6期591-598,共8页

针对基于深度神经网络的无线电信号调制分类任务所面临的对抗样本安全问题,提出了一种基于攻击成本的信号调制分类对抗样本检测算法。首先,使用攻击成本表征样本的相对位置;然后,运用攻击迭代次数衡量样本的攻击成本,寻找待测样本在训... 针对基于深度神经网络的无线电信号调制分类任务所面临的对抗样本安全问题,提出了一种基于攻击成本的信号调制分类对抗样本检测算法。首先,使用攻击成本表征样本的相对位置;然后,运用攻击迭代次数衡量样本的攻击成本,寻找待测样本在训练集中的最近邻样本;最后,计算待测样本与最近邻样本之间攻击迭代次数的Z-Score来检测对抗样本。实验结果表明该算法具有稳定且优越的检测效果。 展开更多

关键词 深度神经网络 信号调制分类 对抗样本检测

在线阅读 下载PDF 职称材料

基于深度学习的无线电信号对抗样本检测研究

9

作者 徐东伟 郝海洋 +2 位作者 宣琦 杨浩 周晴 《高技术通讯》 CAS 2023年第2期135-145,共11页

针对无线电信号的攻击愈来愈频繁的情况,本文在数据流形理论基础上,使用深度神经网络(DNN)检测无线电信号对抗样本及其攻击方法。首先使用5种不同攻击方法对无线电信号进行攻击产生对抗样本,其次使用3种不同的神经网络检测对抗样本,最... 针对无线电信号的攻击愈来愈频繁的情况,本文在数据流形理论基础上,使用深度神经网络(DNN)检测无线电信号对抗样本及其攻击方法。首先使用5种不同攻击方法对无线电信号进行攻击产生对抗样本,其次使用3种不同的神经网络检测对抗样本,最后用残差神经网络(ResNet)检测对抗样本的攻击方法。在信噪比(SNR)为30 d B和20 dB的无线电信号数据上的实验结果表明,本文所使用的残差神经网络检测精度接近100%,在信噪比为10 dB的无线电信号数据上的检测精度仍然在90%以上。结果表明本文所用的残差神经网络能有效检测无线电信号的对抗样本及其攻击方法。 展开更多

关键词 对抗样本检测 数据流形 深度神经网络(DNN) 残差神经网络(ResNet)

在线阅读 下载PDF 职称材料

面向图像数据的对抗样本检测与防御技术综述 被引量：15

10

作者 张田 杨奎武 +2 位作者 魏江宏 刘扬 宁原隆 《计算机研究与发展》 EI CSCD 北大核心 2022年第6期1315-1328,共14页

对抗样本是当前深度学习神经网络研究的热点问题.目前,对抗样本技术的研究主要分为2方面:生成攻击、检测防御.在总结对抗样本生成攻击技术的基础上,面向图像数据的对抗样本检测与防御技术综述从对抗样本的检测与防御的角度对面向图像数... 对抗样本是当前深度学习神经网络研究的热点问题.目前,对抗样本技术的研究主要分为2方面:生成攻击、检测防御.在总结对抗样本生成攻击技术的基础上,面向图像数据的对抗样本检测与防御技术综述从对抗样本的检测与防御的角度对面向图像数据的对抗样本防御技术进行了总结.综述从特征学习、分布统计、输入解离、对抗训练、知识迁移及降噪6个方面将检测与防御技术进行归类,介绍检测与防御技术的演进,分析其特点、性能,对比不同技术的优缺点,给出了检测效果和防御效果的综合评价.最后对当前该领域的研究情况进行了总结与展望. 展开更多

关键词 深度学习 神经网络 对抗样本检测 对抗样本防御 降噪

在线阅读 下载PDF 职称材料

基于图像降噪与压缩的对抗样本检测方法 被引量：1

11

作者 王飞宇 张帆 +2 位作者 杜加玉 类红乐 祁晓峰 《计算机工程》 CAS CSCD 北大核心 2023年第10期230-238,共9页

深度学习在计算机视觉领域的许多成果已广泛应用于现实生活。然而,对抗样本能够让深度学习模型以高置信度产生误判,进而造成严重的安全后果,同时对抗样本检测方法普遍存在计算成本高或依赖样本统计特性等问题。为此,提出一种基于预测不... 深度学习在计算机视觉领域的许多成果已广泛应用于现实生活。然而,对抗样本能够让深度学习模型以高置信度产生误判,进而造成严重的安全后果,同时对抗样本检测方法普遍存在计算成本高或依赖样本统计特性等问题。为此,提出一种基于预测不一致的对抗样本检测方法。若将对抗扰动视作不必要的特征,通过图像降噪或压缩技术来压缩样本的特征空间,从而减少对抗扰动。通常压缩特征空间前后的正常样本在深度学习模型中的分类结果差别较小,而相同处理前后对抗样本的分类结果差别较大。通过测量深度学习模型对原输入的预测结果与压缩特征空间后输入预测结果之间的距离来检测对抗攻击,若其大于阈值,则该输入具有对抗性。该检测方法的训练集选取与对抗样本无关,而且无须对原深度学习模型进行调整。实验结果表明,该方法在保证较低假阳性率的同时,能够对快速梯度符号法(FGSM)、JSMA和C&W等经典攻击进行有效检测,在MNIST和CIFAR-10数据集上的平均检测率高达99.77%和87.90%。 展开更多

关键词 深度学习 对抗样本 对抗样本检测 图像降噪 图像压缩

在线阅读 下载PDF 职称材料

结合对抗样本检测和重构的三维点云防御框架 被引量：1

12

作者 赵玉琨 任爽 张鑫云 《图学学报》 CSCD 北大核心 2023年第3期560-569,共10页

近年来,三维点云深度神经网络已应用于许多高安全性的任务中。然而,对抗样本可以很容易地使正常训练的深度学习模型做出错误的预测,所以需要提高深度神经网络输入数据的鲁棒性。现存的三维点云防御网络效率低,也无法很好地恢复点云的曲... 近年来,三维点云深度神经网络已应用于许多高安全性的任务中。然而,对抗样本可以很容易地使正常训练的深度学习模型做出错误的预测,所以需要提高深度神经网络输入数据的鲁棒性。现存的三维点云防御网络效率低,也无法很好地恢复点云的曲面变形和点分布。针对现存问题,提出了一种将对抗样本检测与重构相结合的三维点云对抗防御网络框架。对于一个输入样本,首先由基于重构误差的检测器对其进行检测。若是对抗样本,则由一个基于变分自编码器的重构器对其进行重构后再输入分类网络中。变分自编码器的结构可以更好地学习隐空间上的数值空洞,对于点云形状的恢复效果也更好。实验部分,在ModelNet40数据集上对多种经典的分类模型进行了攻击,并测试了检测器-重构器防御框架对这些攻击的防御效果。实验表明,该防御方法在PointNet上的分类准确率均优于其他防御方法,特别是在防御基于显著图和对抗生成网络的攻击中表现出色。该防御网络框架可以将删除200点的攻击的准确率从47.65%提高到75.02%。通过消融实验和可视化重构结果分别证明了检测器和重构器的有效提升对整体分类准确率的效果。 展开更多

关键词 对抗防御 对抗攻击 对抗样本检测 点云重构 点云分类

在线阅读 下载PDF 职称材料

多阶段学习的SBERT单词级文本对抗性样本检测

13

作者 常戬 张辉 +1 位作者 金海波 王冰冰 《计算机科学与探索》 北大核心 2025年第9期2493-2505,共13页

对抗性样本是在原样本上添加微小扰动,使模型以高置信度产生错误输出的样本。由于其在嵌入空间与原样本高度相似,检测难度较大。同时,大多数语言模型并非专为生成高质量嵌入向量设计,难以有效区分对抗性样本与正常样本,尤其在应对复杂... 对抗性样本是在原样本上添加微小扰动,使模型以高置信度产生错误输出的样本。由于其在嵌入空间与原样本高度相似,检测难度较大。同时,大多数语言模型并非专为生成高质量嵌入向量设计,难以有效区分对抗性样本与正常样本,尤其在应对复杂的单词级对抗攻击时,细微的语义差异通常难以被捕捉,从而影响检测性能。针对这一局限,提出了一种创新的句子嵌入模型多阶段学习方法,系统优化SBERT模型的嵌入空间表达,显著放大对抗性样本与普通样本的差异性。第一阶段的训练通过对比学习增强SBERT的区分能力,使对抗性样本与正常样本表征分离;第二阶段的训练结合监督对比学习和多级噪声增强,进一步优化嵌入空间,使同类样本更紧密聚集、异类样本充分分离;第三阶段利用分类器将模型的嵌入向量映射为标签。实验在BERT和Mamba模型作为攻击目标的情况下,针对三种分类数据集和多种文本对抗性攻击类型进行测试,结果表明该方法在检测对抗性样本时效果优异,同时也具备出色的跨模型、跨攻击和跨数据集的泛化能力,为文本对抗性样本检测提供了新的方法和思路。 展开更多

关键词 文本对抗性样本检测 SBERT 对比学习 句子嵌入模型 噪声增强 嵌入相似性

在线阅读 下载PDF 职称材料

基于融合特征的元学习对抗样本检测模型

14

作者 蒋章涛 李欣 +1 位作者 薛迪 王晓宇 《计算机科学与探索》 2025年第11期3094-3107,共14页

深度学习模型易受对抗攻击的脆弱性使得对抗样本检测成为一项重要技术。现有检测方法通常依赖大量标注数据进行训练,而新型攻击样本的生成速度远超数据收集与标注效率,致使小样本场景下检测性能显著下降。此外,传统端到端的学习方法存... 深度学习模型易受对抗攻击的脆弱性使得对抗样本检测成为一项重要技术。现有检测方法通常依赖大量标注数据进行训练,而新型攻击样本的生成速度远超数据收集与标注效率,致使小样本场景下检测性能显著下降。此外,传统端到端的学习方法存在未能充分利用对抗样本固有特征等问题,限制了检测精度和泛化能力。为解决上述问题,提出了一种基于融合特征与注意力机制的元学习对抗样本检测模型Meta-FAD。该模型旨在模拟安全专家利用元知识快速适应未知攻击的能力,实现仅依赖少量数据检测新型对抗样本。模型融合空域和频域特征构建联合表征,并通过注意力机制模块对特征权重进行动态调控,从而增强对对抗扰动敏感区域的关注。在元学习框架下采用内外循环优化策略对任务级参数进行更新,以确保模型能够迅速适应新型攻击任务。实验结果显示,Meta-FAD在AdvMNIST、AdvFashionMNIST和AdvCIFAR10数据集上实现的2-way 1-shot检测准确率分别为97.42%、89.02%和69.84%,显著优于现有基线模型;消融实验进一步验证了融合特征与注意力机制在提升检测性能方面的关键作用。 展开更多

关键词 对抗样本检测 元学习 融合特征 深度学习安全

在线阅读 下载PDF 职称材料

基于条件扩散模型的图像分类对抗样本防御方法

15

作者 陈子民 关志涛 《计算机工程》 CAS CSCD 北大核心 2024年第12期296-305,共10页

深度学习模型在图像分类等领域取得了较好的结果,但是深度学习模型容易受到对抗样本的干扰威胁,攻击者通过对抗样本制作算法,精心设计微小扰动,构造肉眼难以分辨却能引发模型误分类的对抗样本,给图像分类等深度学习应用带来严重的安全... 深度学习模型在图像分类等领域取得了较好的结果,但是深度学习模型容易受到对抗样本的干扰威胁,攻击者通过对抗样本制作算法,精心设计微小扰动,构造肉眼难以分辨却能引发模型误分类的对抗样本,给图像分类等深度学习应用带来严重的安全隐患。为提升图像分类模型的鲁棒性,利用条件扩散模型,提出一种综合对抗样本检测和对抗样本净化的对抗样本防御方法。在不修改目标模型的基础上,检测并净化对抗样本,提升目标模型鲁棒性。所提方法包括对抗样本检测和对抗样本净化2个模块。对于对抗样本检测,采用不一致性增强,通过训练一个融入目标模型高维特征和图片基本特征的图像修复模型,比较初始输入和修复结果的不一致性,检测对抗样本;对于对抗样本净化,采用端到端的对抗样本净化方式,在去噪模型执行过程中加入图片伪影,实现对抗样本净化。在保证目标模型精度的前提下,在目标模型前增加对抗样本检测和净化模块,根据检测结果,选取相应的净化策略,从而消除对抗样本,提升目标模型的鲁棒性。在CIFAR10数据集和CIFAR100数据集上与5种现有方法进行对比实验,实验结果表明:对于扰动较小的对抗样本,所提方法的检测精度较Argos方法提升了5~9个百分点;相比于ADP方法,所提方法在面对不同种类对抗样本时防御效果更稳定,且在BPDA攻击下,其对抗样本净化效果较ADP方法提升了1.3个百分点。 展开更多

关键词 对抗防御 对抗样本检测 对抗样本净化 扩散模型 图像去噪

在线阅读 下载PDF 职称材料