摘要
针对RRAM单元制造工艺不完善造成神经网络矩阵向量乘法计算错误问题,根据RRAM阵列多缺陷特性进行建模,提出了多缺陷容忍算法。首先根据RRAM阵列常见的转变缺陷和粘连缺陷对神经网络计算准确度的影响,对两种缺陷统一建模;然后对神经网络进行划分,基于改进的知识蒸馏方式进行分区训练;最后选择适配的损失函数加入归一化层,进一步优化算法。在MNIST和Cifar-10数据集上进行实验,结果表明该方法在多个神经网络上能够得到98%以上的恢复率,说明该方法可有效降低RRAM阵列多缺陷对神经网络计算准确度的影响。
To address the issue of calculation errors in neural network matrix-vector multiplication caused by manufacturing processes of RRAM cells,this paper modeled the characteristics of multiple faults in RRAM crossbar arrays and proposed a multi-fault tolerant algorithm.Firstly,it modeled the impacts of common transition fault and stuck at fault in RRAM crossbar arrays on the accuracy of neural network computations.Secondly,it partitioned the neural network and conducted partitioned training based on an improved knowledge distillation method.Lastly,it further optimized the algorithm by selecting an appropriate loss function and incorporating normalization layers.Experimental results on the MNIST and Cifar-10 datasets demonstrate that the proposed method can achieve a recovery rate of over 98%across multiple neural networks,indicating its effectiveness in mitigating the impact of multiple faults in RRAM crossbar arrays on the accuracy of neural network computations.
作者
王梦可
杨朝晖
查晓婧
夏银水
Wang Mengke;Yang Zhaohui;Zha Xiaojing;Xia Yinshui(Faculty of Electrical Engineering&Computer Science,Ningbo University,Ningbo Zhejiang 315211,China)
出处
《计算机应用研究》
CSCD
北大核心
2024年第10期3068-3072,共5页
Application Research of Computers
基金
国家自然科学基金资助项目(62131010,U22A2013)
国家自然科学基金青年项目(62304115)
浙江省自然科学基金创新群体资助项目(LDT23F04021F04)
浙江省科研计划一般项目(Y202248965)。
关键词
RRAM阵列
缺陷容忍
神经网络
知识蒸馏
RRAM crossbar
fault tolerance
neural network
knowledge distillation
作者简介
王梦可(1998-),女,河南商丘人,硕士研究生,主要研究方向为RRAM阵列容错;杨朝晖(1998-),男,河南开封人,博士研究生,主要研究方向为存算一体逻辑代数;查晓婧(1994-),女,安徽安庆人,讲师,博士,主要研究方向为低功耗集成电路电子设计自动化;通信作者:夏银水(1963-),男,浙江宁波人,教授,博导,主要研究方向为低功耗集成电路综合与优化(xiayinshui@nbu.edu.cn).
