针对卷积神经网络模型巨大的参数量和计算量导致其实际应用时难度较大的问题,提出了一种基于注意力机制与动态稀疏约束的模型压缩方法。该算法首先借助SENet(Squeeze and excitation networks,SENet)模块(可称为SE模块)评估出网络中各...针对卷积神经网络模型巨大的参数量和计算量导致其实际应用时难度较大的问题,提出了一种基于注意力机制与动态稀疏约束的模型压缩方法。该算法首先借助SENet(Squeeze and excitation networks,SENet)模块(可称为SE模块)评估出网络中各个通道的重要性,并施加稀疏正则化;然后提出一种网络稀疏度的自适应惩罚权重设计方法,根据模型学习效果,动态调整权重,将其添加到最终的训练目标上,实现模型动态压缩。最后,通过实验验证所提出的模型压缩方法,在经典的多分类数据集CIFAR 10上进行实验,证明了本文所提出的基于注意力机制与动态稀疏约束的模型压缩方法可降低网络的冗余度,使网络模型参数量减少43.97%,计算量减少82.94%,而分类准确率只比原始VGG16模型下降0.04个百分点。随后又将提出的模型压缩方法应用到杂草检测任务中,在甜菜与杂草数据集上进行实验,实验结果表明,剪枝模型相较于未剪枝模型的模型参数量减少41.26%,计算量减少45.77%,而平均检测精度均值只减少0.91个百分点,证明了该方法在杂草检测方面效果较好。展开更多
文摘针对卷积神经网络模型巨大的参数量和计算量导致其实际应用时难度较大的问题,提出了一种基于注意力机制与动态稀疏约束的模型压缩方法。该算法首先借助SENet(Squeeze and excitation networks,SENet)模块(可称为SE模块)评估出网络中各个通道的重要性,并施加稀疏正则化;然后提出一种网络稀疏度的自适应惩罚权重设计方法,根据模型学习效果,动态调整权重,将其添加到最终的训练目标上,实现模型动态压缩。最后,通过实验验证所提出的模型压缩方法,在经典的多分类数据集CIFAR 10上进行实验,证明了本文所提出的基于注意力机制与动态稀疏约束的模型压缩方法可降低网络的冗余度,使网络模型参数量减少43.97%,计算量减少82.94%,而分类准确率只比原始VGG16模型下降0.04个百分点。随后又将提出的模型压缩方法应用到杂草检测任务中,在甜菜与杂草数据集上进行实验,实验结果表明,剪枝模型相较于未剪枝模型的模型参数量减少41.26%,计算量减少45.77%,而平均检测精度均值只减少0.91个百分点,证明了该方法在杂草检测方面效果较好。
