-
题名深度神经网络修复策略综述
被引量：3
- 1
-
-
作者
梁震
刘万伟
吴陶然
薛白
王戟
杨文婧
-
机构
量子信息研究所兼高性能计算国家重点实验室(国防科技大学)
国防科技大学计算机学院
复杂系统软件工程实验室(国防科技大学)
计算机科学国家重点实验室(中国科学院软件研究所)
中国科学院大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2024年第3期1231-1256,共26页
-
基金
国家重点研发计划(2022YFA1005101,2021ZD014030)
国家自然科学基金(91948303-1,61836005,61872371,6203202)。
-
文摘
随着智能信息时代的发展,深度神经网络在人类社会众多领域中的应用,尤其是在自动驾驶、军事国防等安全攸关系统中的部署,引起了学术界和工业界对神经网络模型可能表现出的错误行为的担忧.虽然神经网络验证和神经网络测试可以提供关于错误行为的定性或者定量结论,但这种事后分析并不能防止错误行为的发生,如何修复表现出错误行为的预训练神经网络模型依然是极具挑战性的问题.为此,深度神经网络修复这一领域应运而生,旨在消除有缺陷的神经网络产生的错误预测,使得神经网络满足特定的规约性质.目前为止,典型的神经网络修复范式有3种:重训练、无错误定位的微调和包含错误定位的微调.介绍深度神经网络的发展和神经网络修复的必要性;厘清相近概念;明确神经网络修复的挑战;详尽地调研目前已有的神经网络修复策略,并对内在联系与区别进行分析和比较;调研整理神经网络修复策略常用的评价指标和基准测试;展望未来神经网络修复领域研究中需要重点关注的可行方向.
-
关键词
深度神经网络修复
错误行为
重训练
微调
错误定位
-
Keywords
deep neural network(DNN)repair
erroneous behaviors
retraining
fine tuning
fault localization
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
-
题名面向边缘部署场景的轻量神经网络修复算法
- 2
-
-
作者
方毓楚
李文中
曾曜
郑阳
胡崝
陆桑璐
-
机构
南京大学计算机科学与技术系
华为技术有限公司可信理论技术与工程实验室
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第6期1413-1430,共18页
-
基金
国家自然科学基金面上项目(61972196)
国家自然科学基金重点项目(61832008,61832005)
江苏省前沿引领技术基础研究重大项目(BK20222003)资助.
-
文摘
随着深度学习技术的不断进步,神经网络在各领域得到广泛应用,特别是在边缘计算环境中,例如智能交通和新型电网等典型场景.然而,神经网络的可靠性问题限制了其在真实世界的广泛应用.在复杂的边缘环境中,预训练模型往往因未涵盖所有可能的边缘情况而性能下降.因此,针对部署中的神经网络进行高效修复成为一个关键的研究课题.传统修复方法通常涉及整个模型的重新训练,这在边缘场景中具有诸多局限性.首先,不同地理区域的设备可能面临独特的自然噪声,使得统一模型难以适应所有环境.其次,深度神经网络的大规模参数使得其训练和部署时资源消耗巨大,且更新期间的服务中断将降低系统的可用性.为解决这些问题,本文提出了一种轻量级的补丁式神经网络修复算法.该算法通过引入个性化的补丁来增强神经网络对不同边缘环境中自然噪声和边角案例的鲁棒性.具体的,在故障定位阶段,类比于程序插桩中通过注入代码以检测、改进和分析软件行为,本文提出了神经网络插桩技术.通过将模型探针插桩进神经网络,观测其内部运行情况,实现了对错误样本的故障定位.在故障修复时,通过插入无监督搜索得到的神经网络补丁来纠正原始神经网络的输出.此外,本文提出了故障预测模块以提前预测潜在的错误输出,从而仅在必要时激活补丁.在基于2个数据集、15种噪声以及4个神经网络模型的实验中,与现有修复算法相比,本文方法在修复性能上取得了 6.64%至20.00%的提升.同时,本文方法所需的训练样本量减少了超过90%,而所需更新的参数量最高减少了 91.94%.这种有效且轻量的特性为解决边缘计算环境中神经网络的可靠性问题提供了有效途径.
-
关键词
神经网络修复
深度边缘计算
故障定位
故障预测
神经网络补丁
-
Keywords
neural network repair
deep edge computing
fault localization
fault prediction
neural network patch
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
