数据投毒下的云API服务质量预测模型鲁棒性分析与解释 被引量：1

1

作者 乞文超 鲍泰宇 +2 位作者 刘钰杰 申利民 陈真 《燕山大学学报》 北大核心 2025年第1期44-54,共11页

准确可靠的服务质量预测是实现服务质量感知云API服务推荐和组合成功应用的关键,而现有研究通常假设预测模型的服务质量数据是可靠的,忽略了开放网络环境下恶意用户对云API服务质量预测模型的数据投毒攻击。本文从攻击机理和可解释的视... 准确可靠的服务质量预测是实现服务质量感知云API服务推荐和组合成功应用的关键,而现有研究通常假设预测模型的服务质量数据是可靠的,忽略了开放网络环境下恶意用户对云API服务质量预测模型的数据投毒攻击。本文从攻击机理和可解释的视角提出数据投毒攻击下的云API服务质量预测模型鲁棒性分析与解释方法。首先,量化云API服务质量感知情境下的恶意用户行为,实现利用不同攻击方式对服务质量预测模型的数据投毒攻击,并在统一的框架下给出了考虑投毒攻击类别、攻击强度和攻击规模的鲁棒性分析方法。其次,定义5种服务质量数据特征作为解释因子,采用基于回归分析的建模方法,建立云API服务质量预测模型的鲁棒性解释模型。实验结果能够有效阐明面向云API服务质量预测模型的投毒攻击机理及其鲁棒性,解释并给出数据投毒下引起预测性能波动的关键数据特征,继而为数据投毒攻击防御提供支持。 展开更多

关键词 数据投毒 云API 服务质量预测 鲁棒性 可解释性

在线阅读 下载PDF 职称材料

面向数据投毒后门攻击的随机性增强双层优化防御方法

2

作者 闫宇坤 唐朋 +2 位作者 陈睿 都若尘 韩启龙 《信息网络安全》 北大核心 2025年第7期1074-1091,共18页

数据投毒后门攻击揭示了深度神经网络在安全性方面的脆弱性,严重威胁其在实际应用中的可靠性。尽管已有多种防御策略被提出,但在实际部署中仍面临两大挑战:1)过度依赖于有关攻击者行为或训练数据的先验知识,导致泛化性受限;2)难以在模... 数据投毒后门攻击揭示了深度神经网络在安全性方面的脆弱性,严重威胁其在实际应用中的可靠性。尽管已有多种防御策略被提出,但在实际部署中仍面临两大挑战:1)过度依赖于有关攻击者行为或训练数据的先验知识,导致泛化性受限;2)难以在模型性能与防御能力之间取得有效平衡。因此,文章提出一种面向数据投毒后门攻击的随机性增强双层优化防御框架(RADAR)。该框架以数据识别为核心,将鲁棒性增强训练与样本筛选机制有机融合,无需任何先验信息,即可在模型训练过程中动态识别数据集内干净样本与可疑中毒样本,并在筛选所得可信数据上进行模型快速调整,构建具备稳健防御能力的深度神经网络。具体而言,RADAR结合噪声增强的自监督预训练与满足差分隐私约束的参数自适应微调机制,即使在中毒样本主导目标类别的极端情况下,也能识别其为全局异常并抑制拟和,保障干净样本的准确筛选。此外,RADAR设计了面向干净特征的随机平滑拟和解耦策略,在干净样本受限条件下,有效去除后门模型对干净特征的拟和能力,从而降低可疑中毒样本识别的假阳率。通过在多种类型数据投毒后门攻击下开展防御实验,结果表明RADAR不仅在干净样本上分类性能优良,还展现出优异的防御能力,将各类攻击成功率抑制在7%以下,体现出良好的安全性与实用性。 展开更多

关键词 后门防御 数据投毒 差分隐私

在线阅读 下载PDF 职称材料

针对电力系统人工智能算法的数据投毒后门攻击方法与检测方案 被引量：1

3

作者 崔晗 薛彤 +1 位作者 王琦 汤奕 《电网技术》 EI CSCD 北大核心 2024年第12期5024-5033,共10页

人工智能(artificial intelligence,AI)算法已经成为应对新型电力系统不确定性和复杂性的重要手段,其利用历史或仿真数据拟合特征与问题间的关联关系,避免了对复杂物理机理的建模分析,从而可以降低问题维度并提高计算效率。然而,AI的黑... 人工智能(artificial intelligence,AI)算法已经成为应对新型电力系统不确定性和复杂性的重要手段,其利用历史或仿真数据拟合特征与问题间的关联关系,避免了对复杂物理机理的建模分析,从而可以降低问题维度并提高计算效率。然而,AI的黑箱运行模式亦存在安全风险,攻击者可通过恶意手段影响算法模型的训练过程,在模型中植入后门,从而控制算法的输出结果,最终影响电力系统相关业务。该文分析了对电力系统AI植入后门的可行性,设计了一种针对电力系统基于数据投毒的后门攻击方法,根据系统节点入侵难度构造后门触发器致使AI对特定场景样本产生错误判别;为防御此类攻击,在模型层面和样本层面设计了后门攻击的检测方案。最后在AI驱动的暂态稳定评估案例中测试了所提攻击与检测效果。 展开更多

关键词 人工智能 深度学习 数据投毒 后门攻击

在线阅读 下载PDF 职称材料

无人系统中离线强化学习的隐蔽数据投毒攻击方法 被引量：2

4

作者 周雪 苘大鹏 +4 位作者 许晨 吕继光 曾凡一 高朝阳 杨武 《通信学报》 CSCD 北大核心 2024年第12期16-27,共12页

针对现有离线强化学习数据投毒攻击方法有效性及隐蔽性不足的问题,提出一种关键时间步动态投毒攻击方法,通过对重要性较高的样本进行动态扰动,实现高效隐蔽的攻击效果。具体来说,通过理论分析发现时序差分误差对于模型学习过程具有重要... 针对现有离线强化学习数据投毒攻击方法有效性及隐蔽性不足的问题,提出一种关键时间步动态投毒攻击方法,通过对重要性较高的样本进行动态扰动,实现高效隐蔽的攻击效果。具体来说,通过理论分析发现时序差分误差对于模型学习过程具有重要影响,将其作为投毒目标选择的依据;进一步提出基于双目标优化的投毒方法,在最小化扰动幅度的同时,最大化攻击对模型性能产生的负面影响,为每个投毒样本生成最优扰动幅度。在多种任务及算法中的实验结果表明,所提攻击方法仅在投毒比例为整体数据1%的情况下,就能使智能体的平均性能下降84%,揭示了无人系统中离线强化学习模型的敏感性及脆弱性。 展开更多

关键词 无人系统 离线强化学习 数据投毒攻击 数据安全

在线阅读 下载PDF 职称材料

面向服务质量感知云API推荐系统的数据投毒攻击检测方法 被引量：8

5

作者 陈真 乞文超 +1 位作者 鲍泰宇 申利民 《通信学报》 EI CSCD 北大核心 2023年第8期155-167,共13页

针对现有研究通常假设云API推荐系统的服务质量数据是可靠的,忽略了开放网络环境中恶意用户对云API推荐系统的数据投毒攻击的问题,提出了一种基于多特征融合的数据投毒攻击检测方法。首先,依据设计的相似性度量函数构建用户连通网络图,... 针对现有研究通常假设云API推荐系统的服务质量数据是可靠的,忽略了开放网络环境中恶意用户对云API推荐系统的数据投毒攻击的问题,提出了一种基于多特征融合的数据投毒攻击检测方法。首先,依据设计的相似性度量函数构建用户连通网络图,并利用Node2vec捕获用户邻域特征;其次,采用稀疏自编码器挖掘用户服务质量深度特征,并构建基于服务质量数据加权平均偏差的用户解释特征。进一步,融合用户邻域特征、服务质量深度特征和解释特征建立基于支持向量机的虚假用户检测模型,并使用网格搜索和交替迭代优化策略学习模型参数,继而实现虚假用户检测。最后,通过多组实验验证了所提方法的有效性和优越性,实现了服务质量感知云API推荐系统在数据端的投毒攻击防御。 展开更多

关键词 推荐系统 云API 服务质量 数据投毒 攻击检测

在线阅读 下载PDF 职称材料

基于样本分布特征的数据投毒防御 被引量：5

6

作者 杨立圣 罗文华 《计算机应用研究》 CSCD 北大核心 2023年第9期2845-2850,共6页

流量分类模型在更新过程中易受数据污染的干扰而降低模型性能,现有基于数据清洗的防御方法需依赖专家经验和人工筛选,且无法有效应对利用未知分布样本构造的投毒攻击。针对上述问题,受分布外检测和判别主动学习的启发,设计一种基于样本... 流量分类模型在更新过程中易受数据污染的干扰而降低模型性能,现有基于数据清洗的防御方法需依赖专家经验和人工筛选,且无法有效应对利用未知分布样本构造的投毒攻击。针对上述问题,受分布外检测和判别主动学习的启发,设计一种基于样本分布特征的数据投毒防御方法,通过二分类判别器筛选每轮新增样本中的已知及未知分布样本。对于新增的已知分布样本,通过模型预测与标注结果一致率评估新增样本的数据质量,决定是否进行模型更新;对于新增的未知分布样本,则利用基于标注正确率的少样本抽检评估样本可用性。实验结果表明,该方法在抵御数据投毒攻击的同时可以保证模型准确率,并有效识别利用未知分布样本构造的数据投毒攻击。 展开更多

关键词 AI安全 流量分类模型 数据投毒攻击 样本分布特征

在线阅读 下载PDF 职称材料

人工智能安全视域下“数据投毒”的内涵特征、层级风险与治理路径

7

作者 翟岩 李小波 《河南社会科学》 2025年第11期113-124,共12页

“数据投毒”作为针对人工智能模型的新型对抗性攻击手段,其本质是通过恶意污染训练数据集以破坏模型决策逻辑与输出可靠性,已成为当前人工智能安全治理的核心挑战。数据投毒主要包含分割视图投毒、标签标注投毒等机制类型,并具备攻击... “数据投毒”作为针对人工智能模型的新型对抗性攻击手段,其本质是通过恶意污染训练数据集以破坏模型决策逻辑与输出可靠性,已成为当前人工智能安全治理的核心挑战。数据投毒主要包含分割视图投毒、标签标注投毒等机制类型,并具备攻击动机恶意性、攻击阶段源头性、攻击方式隐蔽性、损害结果不可逆性等核心特征,从而区别于一般意义上的“数据污染”。数据投毒对人工智能生态构成的从技术基础到国家安全的层级化威胁表现为:在基础模型层,数据投毒攻击直接破坏模型可用性,并通过参数传导机制导致下游领域模型出现性能缺陷;在知识生态层,污染数据信息增殖导致知识生产同质化与虚假化;在社会系统层,数据投毒行为引发公共决策偏差,侵蚀治理效能与公众信任;在国家安全层,数据投毒行为演变为认知空间攻击“武器”,操纵信息生态,威胁认知安全。对此,应构建覆盖预处理、模型训练与缺陷阻断的全链条技术防御机制,提高基础模型免疫力;建立全生命周期的数据质量管理制度,从源头净化知识生态;构建场景化、差异化的“人机协同”验证网络,提升公共决策系统韧性;加强技术监测、完善法律规制、提升公众认知素养,筑牢认知安全防线,由此形成针对数据投毒风险的系统性治理方案。 展开更多

关键词 人工智能安全 数据投毒 层级风险 数据质量 技术治理

在线阅读 下载PDF 职称材料

特征感知变换自编码器防御模型偏斜式投毒攻击

8

作者 罗文华 杨立圣 张鹏 《小型微型计算机系统》 北大核心 2025年第8期2033-2040,共8页

流量分类模型更新易受数据投毒攻击,现有模型偏斜式投毒攻击防御方法聚焦特征固定的图像分类任务,面对特征复杂的流量分类问题适用性有限.针对上述问题,设计少特征攻击的投影梯度下降法,生成对抗样本进行偏斜式投毒攻击;提出特征感知变... 流量分类模型更新易受数据投毒攻击,现有模型偏斜式投毒攻击防御方法聚焦特征固定的图像分类任务,面对特征复杂的流量分类问题适用性有限.针对上述问题,设计少特征攻击的投影梯度下降法,生成对抗样本进行偏斜式投毒攻击;提出特征感知变换自编码器的模型偏斜式投毒防御方法,在自编码器训练阶段引入特征感知噪声扰动,以限制扰动范围并增强自编码器对抗样本噪声过滤能力.通过构建流量数据变换自编码器重构并消除对抗样本的对抗性,利用变换后的样本数据与原始数据进行预测差异性判定,实现对抗样本判别过滤.实验结果表明,该方法能够有效识别新增训练样本中的对抗样本,降低偏斜式数据投毒攻击对流量分类模型的负面影响. 展开更多

关键词 数据投毒攻击 流量分类模型 对抗样本 自编码器

在线阅读 下载PDF 职称材料

基于样本原生特征的投毒防御方法

9

作者 刘枭天 郝晓燕 +2 位作者 马垚 于丹 陈永乐 《计算机工程与设计》 北大核心 2024年第3期663-668,共6页

为解决机器学习模型中投毒样本的注入问题,提出一种基于样本原生特征的投毒防御算法infoGAN_Defense。基于投毒样本的制作原理设计投毒样本原生特征的提取方法,提高模型对样本原生特征的训练权重;在此基础上,利用样本原生特征的不变性... 为解决机器学习模型中投毒样本的注入问题,提出一种基于样本原生特征的投毒防御算法infoGAN_Defense。基于投毒样本的制作原理设计投毒样本原生特征的提取方法,提高模型对样本原生特征的训练权重;在此基础上,利用样本原生特征的不变性进行投毒防御,引入样本原生特征与人为特征的概念,采用耦合infoGAN结构实现样本特征的分离及提取;进行机器学习模型的重训练。在真实数据集上设计实验评估防御效果,其结果验证了infoGAN_Defense算法的可行性和有效性。 展开更多

关键词 投毒样本 原生特征 人为特征 机器学习安全 数据投毒攻击 投毒防御 生成对抗网络

在线阅读 下载PDF 职称材料

一种基于深度分区聚合的神经网络后门样本过滤方法

10

作者 郭嘉铭 杜文韬 杨超 《计算机科学》 北大核心 2025年第11期425-433,共9页

深度神经网络易受后门攻击,攻击者可以通过数据投毒的方式植入后门并劫持模型的行为。其中,类特定攻击映射关系复杂、与正常任务关联紧密,因而能绕过大多数防御方法,具有更高的威胁性。文中研究了类特定攻击在植入后门的过程中攻击成功... 深度神经网络易受后门攻击,攻击者可以通过数据投毒的方式植入后门并劫持模型的行为。其中,类特定攻击映射关系复杂、与正常任务关联紧密,因而能绕过大多数防御方法,具有更高的威胁性。文中研究了类特定攻击在植入后门的过程中攻击成功率与模型分类性能的关系,总结出3条性质,并以此为基础设计了一种针对类特定攻击的样本过滤方法。该方法使用深度分区聚合(Deep Partition Aggregation,DPA)的集成学习方法与投票法对数据集进行反复迭代过滤。根据类特定攻击的3条性质,从数学层面证明了该过滤方法的有效性,并在标准分类数据集上进行了大量实验,在迭代4轮后均能过滤95%以上的后门样本。同时,与最新的样本过滤方法的对比实验结果,体现了所提过滤方法在针对类特定攻击时的优越性。文中实验基于Github的开源项目backdoorbox开展。 展开更多

关键词 深度学习 数据投毒 后门攻击 类特定攻击 集成学习 样本过滤

在线阅读 下载PDF 职称材料

一种少样本类增量学习中的隐蔽性后门攻击方法

11

作者 钱慧 刘亚志 +2 位作者 李伟 安逸 李思维 《信息安全研究》 北大核心 2025年第9期797-806,共10页

深度学习的快速发展导致用户对训练数据的需求急剧增加,少样本类增量学习已经成为一种在训练深度学习模型时增强数据完整性的重要技术,用户可以直接下载经过少样本类增量学习算法训练好的数据集或模型提高使用效率.然而此技术带来便利... 深度学习的快速发展导致用户对训练数据的需求急剧增加,少样本类增量学习已经成为一种在训练深度学习模型时增强数据完整性的重要技术,用户可以直接下载经过少样本类增量学习算法训练好的数据集或模型提高使用效率.然而此技术带来便利的同时模型的安全问题也应引起人们的关注.对图像领域中的少样本类增量学习模型进行了后门攻击的研究,提出一种少样本类增量学习中的隐蔽性后门攻击方法,分别在初始和增量2个阶段进行后门攻击:在初始阶段将隐蔽性后门触发器注入基础数据集,含有后门的基础数据集代替原始数据进行增量学习;在增量阶段,当新增批次样本到来时选择部分样本加入触发器,并在增量过程中迭代地优化触发器,使其具有最佳的触发效果.经实验评估表明,隐蔽性后门攻击方法的攻击成功率(attack success rate, ASR)最高可达到100%,干净样本测试准确率(clean test accuracy, CTA)与干净样本模型性能保持稳定水平,同时对后门防御机制具有鲁棒性. 展开更多

关键词 少样本类增量学习 模型安全 后门攻击 数据投毒 隐蔽性触发器

在线阅读 下载PDF 职称材料

电磁频谱人工智能模型的对抗安全威胁综述 被引量：2

12

作者 张思成 张建廷 +4 位作者 杨研蝶 杨凇麟 姜航 宣琦 林云 《无线电通信技术》 北大核心 2024年第1期1-13,共13页

电磁频谱在现代社会中扮演着至关重要的角色,是国家战略资源,为通信、导航、科学研究和国防等领域提供关键支持。为应对电磁频谱高效管理与利用中的诸多挑战,人工智能(Artificial Intelligence, AI)技术在物理层中被广泛应用。然而,研... 电磁频谱在现代社会中扮演着至关重要的角色,是国家战略资源,为通信、导航、科学研究和国防等领域提供关键支持。为应对电磁频谱高效管理与利用中的诸多挑战,人工智能(Artificial Intelligence, AI)技术在物理层中被广泛应用。然而,研究发现AI模型对于数据的依赖导致其在训练和测试阶段容易受到恶意攻击。为推动针对电磁频谱AI模型的攻击与防御相关研究的发展,保障AI模型的安全应用,提升电磁安全能力,对电磁频谱物理层AI模型的对抗攻击方法进行了回顾,包括在训练阶段和测试阶段的攻击原理与方法。从数据、模型以及电磁信号特性的角度回顾了对抗攻击的评测工作。展望了攻击、评测和系统研发三个具有潜力的研究方向,并做出了总结。 展开更多

关键词 电磁频谱安全 人工智能模型 数据投毒 后门攻击 对抗样本

在线阅读 下载PDF 职称材料

基于特征空间相似的隐形后门攻击 被引量：1

13

作者 夏辉 钱祥运 《信息网络安全》 CSCD 北大核心 2024年第8期1163-1172,共10页

后门攻击指通过在深度神经网络模型训练过程中对原模型植入特定的触发器,导致模型误判的攻击。目前后门攻击方案普遍面临触发器隐蔽性差、攻击成功率低、投毒效率低与中毒模型易被检测的问题。为解决上述问题,文章在监督学习模式下,提... 后门攻击指通过在深度神经网络模型训练过程中对原模型植入特定的触发器,导致模型误判的攻击。目前后门攻击方案普遍面临触发器隐蔽性差、攻击成功率低、投毒效率低与中毒模型易被检测的问题。为解决上述问题,文章在监督学习模式下,提出一种基于特征空间相似理论的模型反演隐形后门攻击方案。该方案首先通过基于训练的模型反演方法和一组随机的目标标签类别样本获得原始触发器。然后,通过Attention U-Net网络对良性样本进行特征区域分割,在重点区域添加原始触发器,并对生成的中毒样本进行优化,提高了触发器的隐蔽性和投毒效率。通过图像增强算法扩充中毒数据集后,对原始模型再训练,生成中毒模型。实验结果表明,该方案在保证触发器隐蔽性的前提下,在GTSRB和CelebA数据集中以1%的投毒比例达到97%的攻击成功率。同时,该方案保证了目标样本与中毒样本在特征空间内相似性,生成的中毒模型能够成功逃脱防御算法检测,提高了中毒模型的不可分辨性。通过对该方案进行深入分析,也可为防御此类后门攻击提供思路。 展开更多

关键词 数据投毒 后门攻击 特征空间相似 监督学习

在线阅读 下载PDF 职称材料