-
题名基于ArcReLU函数的神经网络激活函数优化研究
被引量：20
- 1
-
-
作者
许赟杰
徐菲菲
-
机构
上海电力学院计算机科学与技术学院
-
出处
《数据采集与处理》
CSCD
北大核心
2019年第3期517-529,共13页
-
基金
国家自然科学基金(61272437,61305094)资助项目
上海市教育发展基金会和上海市教育委员会“晨光计划”(13CG58)资助项目
-
文摘
近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。
-
关键词
神经网络
激活函数
反正切函数
ArcReLU
-
Keywords
neural network
activation function
inverse tangent function
ArcReLU
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
