-
题名基于滤波器参数重构的稀疏剪枝方法
- 1
-
-
作者
杨火祥
仪双燕
孟凡阳
柳伟
李宗鹏
梁永生
-
机构
深圳大学电子与信息工程学院
深圳信息职业技术大学计算机与软件学院
鹏城实验室通信部
清华大学网络科学与网络空间研究院
深圳技术大学大数据与互联网学院
-
出处
《通信学报》
北大核心
2025年第9期213-228,共16页
-
基金
国家自然科学基金资助项目(No.61871154,No.62031013)
广东省重点建设学科科研能力提升项目(No.2022ZDJS117)。
-
文摘
为提升稀疏重构剪枝方法的效率和性能,提出一种基于融合特征稀疏重构的剪枝方法。首先,设计一种上下层特征融合策略,通过建模上层滤波器与下层对应滤波器通道之间的依赖关系,提取融合层内与层间交互信息的层间依赖特征,提升冗余滤波器选择的准确性;其次,基于提取的层间依赖特征构建l_(2,1)范数约束的特征重构模型,通过模型优化实现上层滤波器与下层对应滤波器通道的联合结构化稀疏选择,提升冗余滤波器选择的鲁棒性;最后,在完成所有层的滤波器剪枝后,对剪枝后的轻量化模型进行一次性微调,提升模型的剪枝效率。实验结果表明,在常用的CIFAR-10数据集上,所提方法实现了在精度损失0.34%的情况下,VGG-16模型计算量降低62.0%以及参数量降低89.7%。这不仅从理论上证明了所提方法的可行性和有效性,而且在多个数据集上的实验结果也验证了该方法能够有效地实现深度神经网络压缩。
-
关键词
深度神经网络
滤波器剪枝
特征重构
l_(2
1)范数
-
Keywords
deep neural network
filter pruning
feature reconstruction
l_(2,1)norm
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
