-
题名滤波器弹性的深度神经网络通道剪枝压缩方法
- 1
-
-
作者
李瑞权
朱路
刘媛媛
-
机构
华东交通大学信息工程学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2024年第6期163-171,共9页
-
基金
国家自然科学基金(61967007,61963016)
江西省重点研发计划重点项目(20201BBF61012)。
-
文摘
深度神经网络(deep neural network,DNN)在各个领域获得了巨大成功,由于其需要高额的计算和储存成本,难以直接将它们部署到资源受限的移动设备端。针对这个问题,对网络中的全局滤波器重要性评估进行了研究,提出滤波器弹性的通道剪枝压缩方法以轻量化神经网络的规模。该方法先设置层间局部动态阈值改进L1正则化(L1 lasso)稀疏训练中剪枝过度的不足;然后将其输出乘以通道缩放因子替换普通的卷积层模块,利用滤波器的弹性大小定义全局滤波器的重要性,其数值由泰勒公式估计得出并排序,同时设计新的滤波器迭代剪枝框架,以平衡剪枝性能和剪枝速度的矛盾;最后利用改进的L1正则化训练和全局滤波器重要性程度进行复合通道剪枝。在CIFAR-10上使用所提方法对VGG-16进行实验,减少了80.2%的浮点运算次数(FLOPs)和97.0%的参数量,而没有明显的准确性损失,表明了方法的有效性,能大规模地压缩神经网络,可部署于资源受限的终端设备。
-
关键词
模型压缩
滤波器重要性
通道剪枝
缩放因子
弹性
-
Keywords
model compression
filter importance
channel pruning
scaling factor
elastic
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
