-
题名一种基于特征导向解耦网络结构的滤波器修剪方法
- 1
-
-
作者
施瑞文
李光辉
代成龙
张飞飞
-
机构
江南大学人工智能与计算机学院
江苏邦融微电子有限公司
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2024年第7期1836-1849,共14页
-
基金
国家自然科学基金项目(62072216)
苏州市科技计划项目(SGC2021070)。
-
文摘
现有的很多深度神经网络模型剪枝方法需要修改损失函数或在网络中嵌入额外的变量,无法直接受益于预训练网络,而且复杂化了前向推理和训练过程.到目前为止,大部分特征导向的剪枝工作仅利用通道内信息分析滤波器的重要性,使得剪枝过程无法利用通道间的潜在联系.针对上述问题,基于特征导向从通道间的角度考虑滤波器修剪任务,使用几何距离度量通道间的潜在相关性,将滤波器修剪定义为一个优化问题,并引入贪婪策略寻求最优解的近似解.该方法实现了剪枝与网络、剪枝与训练的解耦,从而简化了修剪任务.大量的实验证明了该方法对于各种网络结构都有良好的性能,例如在CIFAR-10数据集上,将VGG-16的参数量和浮点运算量分别降低了87.1%和63.7%,并且达到93.81%的高精度.还使用轻量型网络MobileFaceNets和CASIA-WebFace数据集评估该方法的性能,结果显示使用该剪枝方法后,MobileFaceNets在参数量和浮点运算量分别降低58.0%和63.6%的情况下,在LFW上的测试精度仍然达到99.02%,而且推理精度几乎没有损失(源代码发布在:https://github.com/SSriven/FOAD).
-
关键词
深度学习
模型压缩
模型剪枝
神经网络加速
几何距离
-
Keywords
deep learning
model compression
model pruning
neural network acceleration
geometric distance
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
