构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构...构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构造了一种非线性分段含参数激活函数。该函数可导且光滑、导数形式简单、单调递增、输出均值为零,且通过可变参数使函数形式更灵活;其次,通过数值仿真实验在公共数据集上将Lfun函数与Sigmoid、ReLU、tanh、Leaky_ReLU和ELU函数的性能进行对比;最后,使用基于Lfun函数的BP神经网络进行机床能耗状态的预测。实验结果表明,使用Lfun函数的BP神经网络相较于使用其他几种常用激活函数的网络具有更好的性能。展开更多
基于忆阻器阵列的类脑电路为实现高能效神经网络计算提供了极具潜力的技术路线.然而,现有方案通常需要使用大量的模数转换过程,成为计算电路能效进一步提升的瓶颈.因此,提出了一种基于1T1R(1 Transistor 1 Resistor)忆阻器交叉阵列与CMO...基于忆阻器阵列的类脑电路为实现高能效神经网络计算提供了极具潜力的技术路线.然而,现有方案通常需要使用大量的模数转换过程,成为计算电路能效进一步提升的瓶颈.因此,提出了一种基于1T1R(1 Transistor 1 Resistor)忆阻器交叉阵列与CMOS(Complementary Metal-Oxide-Semiconductor)激活函数的全模拟神经网络架构,以及与其相关的训练优化方法 .该架构采用1T1R忆阻器交叉阵列来实现神经网络线性层中的模拟计算,同时利用CMOS非线性电路来实现神经网络激活层的模拟计算,在全模拟域实现神经网络大幅减少了模数转换器的使用,优化了能效和面积成本.实验结果验证了忆阻器作为神经网络权重层的可行性,同时设计多种CMOS模拟电路,在模拟域实现了多种非线性激活函数,如伪ReLU(Rectified Linear Unit)、伪Sigmoid、伪Tanh、伪Softmax等电路.通过定制化训练方法来优化模拟电路神经网络的训练过程,解决了实际非线性电路的输出饱和条件下的训练问题.仿真结果表明,即使在模拟电路的激活函数与理想激活函数不一致的情况下,全模拟神经网络电路在MNIST(Modified National Institute of Standards and Technology)手写数字识别任务中的识别率仍然可以达到98%,可与基于软件的标准网络模型的结果相比.展开更多
文摘构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构造了一种非线性分段含参数激活函数。该函数可导且光滑、导数形式简单、单调递增、输出均值为零,且通过可变参数使函数形式更灵活;其次,通过数值仿真实验在公共数据集上将Lfun函数与Sigmoid、ReLU、tanh、Leaky_ReLU和ELU函数的性能进行对比;最后,使用基于Lfun函数的BP神经网络进行机床能耗状态的预测。实验结果表明,使用Lfun函数的BP神经网络相较于使用其他几种常用激活函数的网络具有更好的性能。
文摘基于忆阻器阵列的类脑电路为实现高能效神经网络计算提供了极具潜力的技术路线.然而,现有方案通常需要使用大量的模数转换过程,成为计算电路能效进一步提升的瓶颈.因此,提出了一种基于1T1R(1 Transistor 1 Resistor)忆阻器交叉阵列与CMOS(Complementary Metal-Oxide-Semiconductor)激活函数的全模拟神经网络架构,以及与其相关的训练优化方法 .该架构采用1T1R忆阻器交叉阵列来实现神经网络线性层中的模拟计算,同时利用CMOS非线性电路来实现神经网络激活层的模拟计算,在全模拟域实现神经网络大幅减少了模数转换器的使用,优化了能效和面积成本.实验结果验证了忆阻器作为神经网络权重层的可行性,同时设计多种CMOS模拟电路,在模拟域实现了多种非线性激活函数,如伪ReLU(Rectified Linear Unit)、伪Sigmoid、伪Tanh、伪Softmax等电路.通过定制化训练方法来优化模拟电路神经网络的训练过程,解决了实际非线性电路的输出饱和条件下的训练问题.仿真结果表明,即使在模拟电路的激活函数与理想激活函数不一致的情况下,全模拟神经网络电路在MNIST(Modified National Institute of Standards and Technology)手写数字识别任务中的识别率仍然可以达到98%,可与基于软件的标准网络模型的结果相比.
