构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构...构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构造了一种非线性分段含参数激活函数。该函数可导且光滑、导数形式简单、单调递增、输出均值为零,且通过可变参数使函数形式更灵活;其次,通过数值仿真实验在公共数据集上将Lfun函数与Sigmoid、ReLU、tanh、Leaky_ReLU和ELU函数的性能进行对比;最后,使用基于Lfun函数的BP神经网络进行机床能耗状态的预测。实验结果表明,使用Lfun函数的BP神经网络相较于使用其他几种常用激活函数的网络具有更好的性能。展开更多
针对误差逆向传播 BP ( back propagation)神经网络在 GNSS 水准拟合中存在梯度消失、陷于局部最小点的问题,通过使用深度学习中的分段线性整流函数Relu( rectified linear units)作为神经元激活函数,自适应矩估计Adam ( adaptive momen...针对误差逆向传播 BP ( back propagation)神经网络在 GNSS 水准拟合中存在梯度消失、陷于局部最小点的问题,通过使用深度学习中的分段线性整流函数Relu( rectified linear units)作为神经元激活函数,自适应矩估计Adam ( adaptive moment estimation)算法作为网络优化函数,提出了一种基于深度学习的 BP 神经网络模型。研究结果表明:改进后的 BP 神经网络内外符合精度分别提高近 50%和 25%,可达 0. 9 cm 和 2. 4 cm,为 GNSS 水准拟合提供了新的思路。展开更多
针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行...针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行取反操作,通过深度卷积融合层传递至下一层;采用Leaky ReLU激活函数代替原ReLU激活函数来保留图像中更多的正负特征信息,并加入类残差结构避免梯度弥散现象。与6种方法进行对比,实验结果表明:L-MobileNet在数据集Cifar-10、Cifar-100(coarse)、Cifar-100(fine)和Dogs vs Cats上平均准确率和最高准确率都取得了最佳结果。展开更多
文摘构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构造了一种非线性分段含参数激活函数。该函数可导且光滑、导数形式简单、单调递增、输出均值为零,且通过可变参数使函数形式更灵活;其次,通过数值仿真实验在公共数据集上将Lfun函数与Sigmoid、ReLU、tanh、Leaky_ReLU和ELU函数的性能进行对比;最后,使用基于Lfun函数的BP神经网络进行机床能耗状态的预测。实验结果表明,使用Lfun函数的BP神经网络相较于使用其他几种常用激活函数的网络具有更好的性能。
文摘针对误差逆向传播 BP ( back propagation)神经网络在 GNSS 水准拟合中存在梯度消失、陷于局部最小点的问题,通过使用深度学习中的分段线性整流函数Relu( rectified linear units)作为神经元激活函数,自适应矩估计Adam ( adaptive moment estimation)算法作为网络优化函数,提出了一种基于深度学习的 BP 神经网络模型。研究结果表明:改进后的 BP 神经网络内外符合精度分别提高近 50%和 25%,可达 0. 9 cm 和 2. 4 cm,为 GNSS 水准拟合提供了新的思路。
文摘针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行取反操作,通过深度卷积融合层传递至下一层;采用Leaky ReLU激活函数代替原ReLU激活函数来保留图像中更多的正负特征信息,并加入类残差结构避免梯度弥散现象。与6种方法进行对比,实验结果表明:L-MobileNet在数据集Cifar-10、Cifar-100(coarse)、Cifar-100(fine)和Dogs vs Cats上平均准确率和最高准确率都取得了最佳结果。
