-
题名AlexNet改进及优化方法的研究
被引量：31
- 1
-
-
作者
郭敏钢
宫鹤
-
机构
吉林农业大学信息技术学院
吉林农业大学吉林省智能环境工程研究中心
吉林农业大学吉林省农业物联网科技协同创新中心
-
出处
《计算机工程与应用》
CSCD
北大核心
2020年第20期124-131,共8页
-
基金
吉林省教育厅项目(No.20170204038NY)
吉林省发改委项目(No.2014Y108)
长春市科技局项目(No.12SF31)。
-
文摘
通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化。针对LRN(Local Response Normalization)不存在可学习参数,提出了用WN(Weight Normalization)来代替LRN,同时将WN置于所有池化层(Pooling layer)之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率(Learning rate)下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生。
-
关键词
AlexNet
卷积神经网络(CNN)
NORMALIZATION
优化器
激活函数
-
Keywords
AlexNet
Convolutional Neural Network(CNN)
Normalization
optimizer
activation function
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名基于Tensorflow对卷积神经网络的优化研究
被引量：17
- 2
-
-
作者
郭敏钢
宫鹤
-
机构
吉林农业大学信息技术学院
吉林农业大学吉林省智能环境工程研究中心
吉林农业大学吉林省农业物联网科技协同创新中心
-
出处
《计算机工程与应用》
CSCD
北大核心
2020年第1期158-164,共7页
-
基金
吉林省教育厅项目（No.20170204038NY）
吉林省发改委项目（No.2014Y108）
长春市科技局项目（No.12SF31）
-
文摘
针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在x负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。
-
关键词
Tensorflow
CPU+GPU
卷积神经网络
Swish激活函数
ReLU激活函数
ReLU-Swish激活函数
-
Keywords
Tensorflow
CPU+GPU
convolutional neural network
Swish activation function
ReLU activation function
ReLU-Swish activation function
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
