基于忆阻器阵列的类脑电路为实现高能效神经网络计算提供了极具潜力的技术路线.然而,现有方案通常需要使用大量的模数转换过程,成为计算电路能效进一步提升的瓶颈.因此,提出了一种基于1T1R(1 Transistor 1 Resistor)忆阻器交叉阵列与CMO...基于忆阻器阵列的类脑电路为实现高能效神经网络计算提供了极具潜力的技术路线.然而,现有方案通常需要使用大量的模数转换过程,成为计算电路能效进一步提升的瓶颈.因此,提出了一种基于1T1R(1 Transistor 1 Resistor)忆阻器交叉阵列与CMOS(Complementary Metal-Oxide-Semiconductor)激活函数的全模拟神经网络架构,以及与其相关的训练优化方法 .该架构采用1T1R忆阻器交叉阵列来实现神经网络线性层中的模拟计算,同时利用CMOS非线性电路来实现神经网络激活层的模拟计算,在全模拟域实现神经网络大幅减少了模数转换器的使用,优化了能效和面积成本.实验结果验证了忆阻器作为神经网络权重层的可行性,同时设计多种CMOS模拟电路,在模拟域实现了多种非线性激活函数,如伪ReLU(Rectified Linear Unit)、伪Sigmoid、伪Tanh、伪Softmax等电路.通过定制化训练方法来优化模拟电路神经网络的训练过程,解决了实际非线性电路的输出饱和条件下的训练问题.仿真结果表明,即使在模拟电路的激活函数与理想激活函数不一致的情况下,全模拟神经网络电路在MNIST(Modified National Institute of Standards and Technology)手写数字识别任务中的识别率仍然可以达到98%,可与基于软件的标准网络模型的结果相比.展开更多
文摘基于忆阻器阵列的类脑电路为实现高能效神经网络计算提供了极具潜力的技术路线.然而,现有方案通常需要使用大量的模数转换过程,成为计算电路能效进一步提升的瓶颈.因此,提出了一种基于1T1R(1 Transistor 1 Resistor)忆阻器交叉阵列与CMOS(Complementary Metal-Oxide-Semiconductor)激活函数的全模拟神经网络架构,以及与其相关的训练优化方法 .该架构采用1T1R忆阻器交叉阵列来实现神经网络线性层中的模拟计算,同时利用CMOS非线性电路来实现神经网络激活层的模拟计算,在全模拟域实现神经网络大幅减少了模数转换器的使用,优化了能效和面积成本.实验结果验证了忆阻器作为神经网络权重层的可行性,同时设计多种CMOS模拟电路,在模拟域实现了多种非线性激活函数,如伪ReLU(Rectified Linear Unit)、伪Sigmoid、伪Tanh、伪Softmax等电路.通过定制化训练方法来优化模拟电路神经网络的训练过程,解决了实际非线性电路的输出饱和条件下的训练问题.仿真结果表明,即使在模拟电路的激活函数与理想激活函数不一致的情况下,全模拟神经网络电路在MNIST(Modified National Institute of Standards and Technology)手写数字识别任务中的识别率仍然可以达到98%,可与基于软件的标准网络模型的结果相比.
