检索结果-维普期刊中文期刊服务平台

面向机器学习模型安全的测试与修复被引量：12: 1; 作者张笑宇沈超 +4 位作者蔺琛皓李前王骞李琦管晓宏《电子学报》 EI CAS CSCD 北大核心 2022年第12期2884-2918,共35页; 近年来,以机器学习算法为代表的人工智能技术在计算机视觉、自然语言处理、语音识别等领域取得了广泛的应用,各式各样的机器学习模型为人们的生活带来了巨大的便利.机器学习模型的工作流程可以分为三个阶段.首先,模型接收人工收集或算... 展开更多; 关键词人工智能安全机器学习安全机器学习模型测试机器学习模型修复软件测试软件修复; 在线阅读下载PDF 职称材料

机器学习系统的隐私和安全问题综述被引量：31: 2; 作者何英哲胡兴波 +2 位作者何锦雯孟国柱陈恺《计算机研究与发展》 EI CSCD 北大核心 2019年第10期2049-2070,共22页; 人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风... 展开更多; 关键词机器学习安全深度学习安全攻防竞赛对抗攻击成员推理攻击隐私保护; 在线阅读下载PDF 职称材料

基于神经网络热图的对抗样本检测方法: 3; 作者王德成闫龙川 +5 位作者郭永和赵子岩朱京陈晓惠崔磊李勇男《计算机应用与软件》北大核心 2024年第12期146-153,共8页; 针对深度神经网络面临对抗攻击威胁的问题,提出一种基于“热图”的对抗样本检测方法。引入“热图”的概念表示处理样本时神经网络的神经活动,将原始样本转换为活动启发式热图;分别将良性样本和对抗样本生成热图,进而训练二元分类器来识... 展开更多; 关键词深度神经网络热图对抗样本对抗样本检测机器学习安全; 在线阅读下载PDF 职称材料

基于样本原生特征的投毒防御方法: 4; 作者刘枭天郝晓燕 +2 位作者马垚于丹陈永乐《计算机工程与设计》北大核心 2024年第3期663-668,共6页; 为解决机器学习模型中投毒样本的注入问题,提出一种基于样本原生特征的投毒防御算法infoGAN_Defense。基于投毒样本的制作原理设计投毒样本原生特征的提取方法,提高模型对样本原生特征的训练权重;在此基础上,利用样本原生特征的不变性... 展开更多; 关键词投毒样本原生特征人为特征机器学习安全数据投毒攻击投毒防御生成对抗网络; 在线阅读下载PDF 职称材料

题名面向机器学习模型安全的测试与修复被引量：12: 1; 作者张笑宇沈超蔺琛皓李前王骞李琦管晓宏; 机构西安交通大学电子与信息学部网络空间安全学院智能网络与网络安全教育部重点实验室(西安交通大学) 武汉大学国家网络安全学院清华大学网络科学与网络空间研究院中关村实验室; 出处《电子学报》 EI CAS CSCD 北大核心 2022年第12期2884-2918,共35页; 基金科技创新2030——“新一代人工智能”重大项目(No.2020AAA0107702) 国家自然科学基金(No.62161160337,No.U21B2018,No.U20A20177,No.62132011,No.62006181,No.U20B2049) 陕西重点研发计划项目(No.2021ZD LGY01-02)。; 文摘近年来,以机器学习算法为代表的人工智能技术在计算机视觉、自然语言处理、语音识别等领域取得了广泛的应用,各式各样的机器学习模型为人们的生活带来了巨大的便利.机器学习模型的工作流程可以分为三个阶段.首先,模型接收人工收集或算法生成的原始数据作为输入,并通过预处理算法(如数据增强和特征提取)对数据进行预处理.随后,模型定义神经元或层的架构,并通过运算符(例如卷积和池)构建计算图.最后,模型调用机器学习框架的函数功能实现计算图并执行计算,根据模型神经元的权重计算输入数据的预测结果.在这个过程中,模型中单个神经元输出的轻微波动可能会导致完全不同的模型输出,从而带来巨大的安全风险.然而,由于对机器学习模型的固有脆弱性及其黑箱特征行为的理解不足,研究人员很难提前识别或定位这些潜在的安全风险,这为个人生命财产安全乃至国家安全带来了诸多风险和隐患.研究机器学习模型安全的相关测试与修复方法,对深刻理解模型内部风险与脆弱性、全面保障机器学习系统安全性以及促进人工智能技术的广泛应用有着重要意义.本文从不同安全测试属性出发,详细介绍了现有的机器学习模型安全测试和修复技术,总结和分析了现有研究中的不足,探讨针对机器学习模型安全的测试与修复的技术进展和未来挑战,为模型的安全应用提供了指导和参考.本文首先介绍了机器学习模型的结构组成和主要安全测试属性,随后从机器学习模型的三个组成部分即数据、算法和实现,六种模型安全相关测试属性即正确性、鲁棒性、公平性、效率、可解释性和隐私性,分析、归纳和总结了相关的测试与修复方法及技术,并探讨了现有方法的局限.最后本文讨论和展望了机器学习模型安全的测试与修复方法的主要技术挑战和发展趋势.; 关键词人工智能安全机器学习安全机器学习模型测试机器学习模型修复软件测试软件修复; Keywords artificial intelligence security machine learning security machine learning model testing machine learning model repairing software testing software repairing; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名机器学习系统的隐私和安全问题综述被引量：31: 2; 作者何英哲胡兴波何锦雯孟国柱陈恺; 机构信息安全国家重点实验室(中国科学院信息工程研究所) 中国科学院信息工程研究所中国科学院大学网络空间安全学院; 出处《计算机研究与发展》 EI CSCD 北大核心 2019年第10期2049-2070,共22页; 基金国家重点研发计划项目(2016QY04W0805) 国家自然科学基金项目(U1836211,61728209) +3 种基金中国科学院青年创新促进会北京市科技新星计划国家前沿科技创新项目(YJKYYQ20170070)~~; 文摘人工智能已经渗透到生活的各个角落,给人类带来了极大的便利.尤其是近年来,随着机器学习中深度学习这一分支的蓬勃发展,生活中的相关应用越来越多.不幸的是,机器学习系统也面临着许多安全隐患,而机器学习系统的普及更进一步放大了这些风险.为了揭示这些安全隐患并实现一个强大的机器学习系统,对主流的深度学习系统进行了调查.首先设计了一个剖析深度学习系统的分析模型,并界定了调查范围.调查的深度学习系统跨越了4个领域——图像分类、音频语音识别、恶意软件检测和自然语言处理,提取了对应4种类型的安全隐患,并从复杂性、攻击成功率和破坏等多个维度对其进行了表征和度量.随后,调研了针对深度学习系统的防御技术及其特点.最后通过对这些系统的观察,提出了构建健壮的深度学习系统的建议.; 关键词机器学习安全深度学习安全攻防竞赛对抗攻击成员推理攻击隐私保护; Keywords machine learning security deep learning security attack and defense race adversarial attack membership inference attack privacy-preserving; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名基于神经网络热图的对抗样本检测方法: 3; 作者王德成闫龙川郭永和赵子岩朱京陈晓惠崔磊李勇男; 机构杭州科技职业技术学院国家电网有限公司信息通信分公司国家电网有限公司电力信息通信系统运行技术重点实验室中国科学院信息工程研究所中国人民公安大学侦查与反恐怖学院; 出处《计算机应用与软件》北大核心 2024年第12期146-153,共8页; 基金国家自然科学基金项目(61972392) 中国人民公安大学公共安全行为科学实验室开放课题资助项目(2020SYS07) +1 种基金中国科学院青年创新促进会资助项目(2020164)。; 文摘针对深度神经网络面临对抗攻击威胁的问题,提出一种基于“热图”的对抗样本检测方法。引入“热图”的概念表示处理样本时神经网络的神经活动,将原始样本转换为活动启发式热图;分别将良性样本和对抗样本生成热图,进而训练二元分类器来识别对抗样本。实验结果表明,该方法在面临针对MNIST和CIFAR-10数据集上的先进对抗攻击方法时,检测精度分别高达99.4%和93.9%。; 关键词深度神经网络热图对抗样本对抗样本检测机器学习安全; Keywords Deep neural network Heatmap Adversarial sample Adversarial samples detection Machine learning security; 分类号 TP389.1 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

题名基于样本原生特征的投毒防御方法: 4; 作者刘枭天郝晓燕马垚于丹陈永乐; 机构太原理工大学信息与计算机学院; 出处《计算机工程与设计》北大核心 2024年第3期663-668,共6页; 基金山西省基础研究计划基金项目(20210302123131、20210302124395) 山西省自然科学基金面上基金项目(202203021221234)。; 文摘为解决机器学习模型中投毒样本的注入问题,提出一种基于样本原生特征的投毒防御算法infoGAN_Defense。基于投毒样本的制作原理设计投毒样本原生特征的提取方法,提高模型对样本原生特征的训练权重;在此基础上,利用样本原生特征的不变性进行投毒防御,引入样本原生特征与人为特征的概念,采用耦合infoGAN结构实现样本特征的分离及提取;进行机器学习模型的重训练。在真实数据集上设计实验评估防御效果,其结果验证了infoGAN_Defense算法的可行性和有效性。; 关键词投毒样本原生特征人为特征机器学习安全数据投毒攻击投毒防御生成对抗网络; Keywords poisoned samples original features artificial features machine learning security data poisoning attacks poisoning defense generative adversarial networks; 分类号 TP389.1 [自动化与计算机技术—计算机系统结构]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	面向机器学习模型安全的测试与修复	张笑宇沈超蔺琛皓李前王骞李琦管晓宏	《电子学报》 EI CAS CSCD 北大核心	2022	12	在线阅读下载PDF 职称材料
2	机器学习系统的隐私和安全问题综述	何英哲胡兴波何锦雯孟国柱陈恺	《计算机研究与发展》 EI CSCD 北大核心	2019	31	在线阅读下载PDF 职称材料
3	基于神经网络热图的对抗样本检测方法	王德成闫龙川郭永和赵子岩朱京陈晓惠崔磊李勇男	《计算机应用与软件》北大核心	2024	0	在线阅读下载PDF 职称材料
4	基于样本原生特征的投毒防御方法	刘枭天郝晓燕马垚于丹陈永乐	《计算机工程与设计》北大核心	2024	0	在线阅读下载PDF 职称材料