结合通道分类贡献与特征缩放系数的网络剪枝方法

1

作者 徐飞 张乐怡 +1 位作者 禹婷婷 张瑞轩 《计算机工程与应用》 北大核心 2025年第16期205-214,共10页

现有的通道剪枝方法大多采用单一的评判规则来筛选冗余通道,难以准确评估通道的重要性。一些剪枝方法尝试通过迭代或分层修剪并多次筛选通道来提升准确率,但却增加了剪枝的时间成本。针对以上问题,提出了一种改进的基于通道分类贡献和... 现有的通道剪枝方法大多采用单一的评判规则来筛选冗余通道,难以准确评估通道的重要性。一些剪枝方法尝试通过迭代或分层修剪并多次筛选通道来提升准确率,但却增加了剪枝的时间成本。针对以上问题,提出了一种改进的基于通道分类贡献和特征缩放系数的结构化剪枝方法。该方法通过对卷积神经网络模型进行L1、L2正则化相结合的稀疏正则化,得到参数较稀疏的深度卷积神经网络模型,并结合通道对分类任务的贡献度以及特征缩放系数两种因素对网络模型进行结构化剪枝,以更全面、准确的方式筛选网络中的冗余参数。在CIFAR-10数据集上,使用所提方法压缩的VGG-16网络模型在FLOPs减少76.6%的情况下,微调后的模型精度达到93.52%,比FLOPs减少65.6%的补偿感知剪枝(compensation-aware pruning,CaP)方法高出1.65个百分点。实验结果表明,该剪枝方法在大幅度压缩神经网络模型的同时,能够更有效地保持甚至提升模型的精度。 展开更多

关键词 模型压缩 结构化剪枝 通道剪枝 卷积神经网络

在线阅读 下载PDF 职称材料

融合MobileNetV3特征的结构化剪枝方法 被引量：8

2

作者 刘宇 雷雪梅 《上海交通大学学报》 EI CAS CSCD 北大核心 2023年第9期1203-1213,共11页

传统的深度神经网络由于计算量和内存占用庞大,难以部署到嵌入式平台中发挥实用价值,所以轻量级的深度神经网络得到快速发展.其中,谷歌提出的轻量级架构MobileNet具有广泛的应用.为了进一步提高性能,MobileNet的模型由MobileNetV1发展到... 传统的深度神经网络由于计算量和内存占用庞大,难以部署到嵌入式平台中发挥实用价值,所以轻量级的深度神经网络得到快速发展.其中,谷歌提出的轻量级架构MobileNet具有广泛的应用.为了进一步提高性能,MobileNet的模型由MobileNetV1发展到MobileNetV3,但模型变得更为复杂,导致其规模不断扩大,难以发挥轻量级模型的优势.为了在能保持MobileNetV3性能的前提下,降低部署于嵌入式平台的难度,提出一种融合MobileNetV3特征的结构化剪枝方法,对MobileNetV3-Large模型进行裁剪,得到一个更加紧凑的模型.首先对模型进行稀疏正则化训练,得到一个较为稀疏的网络模型;然后使用卷积层的稀疏值和批量归一化层的缩放系数的乘积判别冗余滤波器对其进行结构化剪枝,并在CIFAR-10和CIFAR-100数据集上进行实验.实验结果表明:提出的压缩方法可以有效压缩模型参数,并且压缩后模型仍然能保证良好性能;在准确率不变的前提下,CIFAR-10上模型的参数量减少44.5%,且计算量减少40%. 展开更多

关键词 深度神经网络 轻量级模型 结构化剪枝 MobileNetV3

在线阅读 下载PDF 职称材料

基于深度神经网络二阶信息的结构化剪枝算法 被引量：4

3

作者 季繁繁 杨鑫 袁晓彤 《计算机工程》 CAS CSCD 北大核心 2021年第2期12-18,共7页

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特... 现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下,在ResNet110网络上的分类准确率提升了0.74%,剪枝效果优于PF、LCCL等经典剪枝算法。 展开更多

关键词 深度神经网络 网络压缩 结构化剪枝 二阶信息 幂迭代法

在线阅读 下载PDF 职称材料

非线性自回归模型辨识及其在结构损伤识别中的应用 被引量：1

4

作者 马家欣 许飞云 +1 位作者 黄凯 黄仁 《振动与冲击》 EI CSCD 北大核心 2017年第20期118-124,145,共8页

分析了带有外部输入的线性/非线性自回归模型一般表达式(GNARX)与Volterra级数模型的相似之处,以及GNARX模型与带外部输入的自回归模型(ARX)之间的内在联系。根据GNARX模型结构特点,提出了一种基于参数离差率的结构剪枝算法,并用于模型... 分析了带有外部输入的线性/非线性自回归模型一般表达式(GNARX)与Volterra级数模型的相似之处,以及GNARX模型与带外部输入的自回归模型(ARX)之间的内在联系。根据GNARX模型结构特点,提出了一种基于参数离差率的结构剪枝算法,并用于模型结构辨识,通过数据仿真,验证了方法的可行性和有效性。最后,将GNARX模型结合提出的结构辨识方法,应用于钢板的损伤识别。结果显示,基于参数离差率的结构剪枝算法辨识GNARX模型结构,其损伤识别精度最高,体现了GNARX模型及其结构剪枝算法应用于结构损伤识别的优越性。 展开更多

关键词 非线性自回归模型 结构辨识 结构剪枝算法 损伤识别

在线阅读 下载PDF 职称材料

基于稀疏化卷积网络剪枝的图像识别方法研究 被引量：1

5

作者 叶汉民 李志波 +1 位作者 程小辉 周颖慧 《实验室研究与探索》 CAS 北大核心 2022年第12期9-13,共5页

为了搜索到在资源受限条件下图像识别最佳网络模型,提出一种基于非结构剪枝的稀疏性训练方法:(1)引入随机掩码进行网络初始化,根据设定的权重比例与稀疏度剔除较小权重;(2)增加同等数量随机权重,线性缩放权重保留比例且遍历网络模型中参... 为了搜索到在资源受限条件下图像识别最佳网络模型,提出一种基于非结构剪枝的稀疏性训练方法:(1)引入随机掩码进行网络初始化,根据设定的权重比例与稀疏度剔除较小权重;(2)增加同等数量随机权重,线性缩放权重保留比例且遍历网络模型中参数;(3)迭代剔除和增加权重训练,提高稀疏性训练效率,得到精简的网络模型。实验结果表明,该方法在基于公共数据集CIFAR10/100在较大剪枝率条件下(98%),采用ResNet及VGG架构时模型精度分别达到了89.27%和60.18%、92.76%和69.14%;在其他剪枝比例下仍能够保持高准确度。该方法可以有效解决模型中过参数化问题,可以应用于神经网络的模型压缩,实现先进神经网络在存储及计算能力相对较弱的嵌入式设备中的移植部署。 展开更多

关键词 非结构剪枝 稀疏性 掩码 准确度 模型压缩

在线阅读 下载PDF 职称材料

基于稀疏敏感的鲁棒网络分层剪枝策略 被引量：1

6

作者 李平 袁晓彤 《计算机应用与软件》 北大核心 2023年第5期200-206,共7页

深度神经网络很容易受到精心设计的对抗样本攻击。虽然基于极大极小值优化的对抗训练方法能提升网络的鲁棒性,但是对抗训练比正常训练需要更大容量和更多参数的模型。为了获得一个高鲁棒性和高稀疏度的网络模型,该文从模型压缩角度出发... 深度神经网络很容易受到精心设计的对抗样本攻击。虽然基于极大极小值优化的对抗训练方法能提升网络的鲁棒性,但是对抗训练比正常训练需要更大容量和更多参数的模型。为了获得一个高鲁棒性和高稀疏度的网络模型,该文从模型压缩角度出发通过实验分析模型精度、鲁棒性和稀疏性之间的关系,并根据鲁棒网络稀疏敏感特性提出一种基于稀疏敏感的鲁棒网络非结构剪枝算法。在Mnist和Cifar10数据集上的白盒攻击实验结果表明,该算法在采用较大剪枝率时仍能保持高模型精度和高鲁棒性。在黑盒攻击下,基于该算法的稀疏模型的鲁棒精度甚至能超过未剪枝模型。 展开更多

关键词 鲁棒性 对抗训练 非结构剪枝 稀疏敏感度

在线阅读 下载PDF 职称材料

边缘辅助的自适应稀疏联邦学习优化算法 被引量：1

7

作者 陈晓 仇洪冰 李燕龙 《电子与信息学报》 北大核心 2025年第3期645-656,共12页

联邦学习中,高模型贡献率的无线网络设备通常由于算力不足、能量有限成为掉队者,进而增加模型聚合时延并影响全局模型精度。针对此问题,该文设计了联合边缘服务器辅助训练和模型自适应稀疏联邦学习架构,并提出了基于边缘辅助训练的自适... 联邦学习中,高模型贡献率的无线网络设备通常由于算力不足、能量有限成为掉队者,进而增加模型聚合时延并影响全局模型精度。针对此问题,该文设计了联合边缘服务器辅助训练和模型自适应稀疏联邦学习架构,并提出了基于边缘辅助训练的自适应稀疏联邦学习优化算法。首先,引入边缘服务器为算力不足或能量受限的设备提供辅助训练。构建了辅助训练和通信、计算资源分配的优化模型,并采用多种深度强化学习方法求解优化的辅助训练决策。其次,基于辅助训练决策,在每个通信轮次自适应地对全局模型进行非结构化剪枝,进一步降低设备的时延和能耗开销。实验结果表明,所提算法极大地减少了掉队设备,其模型测试精度优于经典联邦学习的测试精度;利用深度确定性策略梯度(DDPG)优化辅助资源分配的算法有效地减少了系统训练时延,提升了模型训练效率。 展开更多

关键词 联邦学习 边缘服务器 自适应稀疏 深度强化学习 非结构化剪枝

在线阅读 下载PDF 职称材料

基于信息融合策略的卷积神经网络剪枝方法 被引量：6

8

作者 曲海成 张雪聪 王宇萍 《计算机工程与应用》 CSCD 北大核心 2022年第24期125-133,共9页

针对现有结构化剪枝方法过度依赖预训练模型和直接丢弃不重要卷积核的信息造成了明显的性能下降的问题,提出一种基于信息融合策略的卷积神经网络剪枝方法(APBM),以较小精度损失降低模型复杂度、实现模型加速。首先APBM方法引入信息熵概... 针对现有结构化剪枝方法过度依赖预训练模型和直接丢弃不重要卷积核的信息造成了明显的性能下降的问题,提出一种基于信息融合策略的卷积神经网络剪枝方法(APBM),以较小精度损失降低模型复杂度、实现模型加速。首先APBM方法引入信息熵概念以表示卷积核的相似度分布,并使用分布之间的相对熵动态衡量卷积核的重要程度;同时在训练的前向传播中采用信息融合策略:融合非重要卷积核信息与重要卷积核信息,以减少剪枝过程中的信息损失和提高剪枝的容错性。在CIFAR10和CIFAR100数据集上进行验证和对比实验。实验结果表明:相对于HRank、Polarization、SWP等剪枝算法,APBM方法训练时间更少、模型压缩率更高,精度保持最佳。在基于CIFAR10的剪枝任务中,对VGG16和ResNet56分别剪掉92.74%和48.84%的参数量;在基于CIFAR100的剪枝任务中,对VGG16和ResNet56分别剪掉72.91%和44.18%的参数量。 展开更多

关键词 结构化剪枝 信息熵 模型复杂度 模型加速 信息融合

在线阅读 下载PDF 职称材料

一种基于连接敏感度的CNN初始化剪枝方法 被引量：3

9

作者 张瑞琰 安军社 姜秀杰 《计算机应用与软件》 北大核心 2020年第11期268-274,298,共8页

为解决神经网络中参数量冗余,计算量庞大的问题,模型压缩领域正在逐渐兴起,剪枝是其中的一条重要分支。为在初始化阶段得到精简化的网络结构,提出一种基于连接敏感度的卷积层结构剪枝方法。将层中滤波器参数梯度的l_1范数作为连接敏感... 为解决神经网络中参数量冗余,计算量庞大的问题,模型压缩领域正在逐渐兴起,剪枝是其中的一条重要分支。为在初始化阶段得到精简化的网络结构,提出一种基于连接敏感度的卷积层结构剪枝方法。将层中滤波器参数梯度的l_1范数作为连接敏感度衡量标准,同时考虑层间结构关系,实现全局一次剪枝。以数据集CIFAR10和ImageNet300为基准,采用VGG和ResNet系列网络进行测试训练。结果显示,该方法简单、易操作、可去除ResNet110网络中50%以上的计算量及参数,而模型分类的准确度基本不变。 展开更多

关键词 模型压缩 卷积层 结构剪枝 连接敏感度 初始化裁剪

在线阅读 下载PDF 职称材料

一种轻量级脑胶质瘤分割模型

10

作者 呼伟 杨鸿杰 +3 位作者 徐巧枝 智敏 萨和雅 于磊 《郑州大学学报(理学版)》 北大核心 2025年第5期54-61,共8页

近年,基于Transformer的脑胶质瘤自动分割模型在性能上有了很大提升,但其存在参数量多、算力要求高、样本需求大、训练困难等问题,影响了模型的实际部署,为此提出一种轻量级的MRI脑胶质瘤分割模型MNATSPNet。首先,设计了一个轻量级组件M... 近年,基于Transformer的脑胶质瘤自动分割模型在性能上有了很大提升,但其存在参数量多、算力要求高、样本需求大、训练困难等问题,影响了模型的实际部署,为此提出一种轻量级的MRI脑胶质瘤分割模型MNATSPNet。首先,设计了一个轻量级组件MobileNAT,通过邻接注意力机制降低Transformer多头自注意力的复杂度。其次,引入L1结构化剪枝操作去除MobileNAT中多头邻接注意力和前馈神经网络层的冗余参数,实验结果证明了MobileNAT与结构化剪枝操作既可有效降低模型的参数量,又保持了稳定的分割性能。最后,通过与其他经典模型进行对比,MNATSPNet取得最佳效果。 展开更多

关键词 脑胶质瘤分割 注意力机制 TRANSFORMER 轻量化 结构化剪枝

在线阅读 下载PDF 职称材料

面向边缘计算的轻量级母猪分娩识别模型 被引量：3

11

作者 尹令 蒋圣政 +4 位作者 叶诚至 吴珍芳 杨杰 张素敏 蔡更元 《农业工程学报》 EI CAS CSCD 北大核心 2024年第17期205-215,共11页

为实时监测母猪分娩过程并准确分析记录其完整产程的产仔数、产仔间隔和产程等信息,该研究运用知识蒸馏和剪枝,结合了ResNet50高准确率和MobileNetV3高检测效率的优势设计了一种轻量级网络。采用数据增强提高教师模型ResNet50对分娩特... 为实时监测母猪分娩过程并准确分析记录其完整产程的产仔数、产仔间隔和产程等信息,该研究运用知识蒸馏和剪枝,结合了ResNet50高准确率和MobileNetV3高检测效率的优势设计了一种轻量级网络。采用数据增强提高教师模型ResNet50对分娩特征的提取能力,通过掩模生成蒸馏(maskedgenerativedistillation,MGD)提高学生模型MobileNetV3-S对分娩关键区域的表达能力,并通过依赖关系图(dependency graph)显式建模学生网络层间的依赖关系,结合分组耦合参数对学生模型进行剪枝。剪枝得到的MobileNetV3-S(MGD)_Prune参数量为0.74 M,在DELL OptiPlex微型机上检测速度为83.10帧/s,单栏视角测试准确度为91.48%,相比于ResNet50的检测速度提升了67.13帧/s,测试准确度下降0.98个百分点。试验结果表明,单栏视角对监测母猪分娩更为有效,模型对于产仔平均间隔的检测误差为0.31 s,仔猪出生事件的平均持续时长检测误差为0.02 s,能够高效监测母猪分娩全过程。 展开更多

关键词 母猪 分娩 监测 图像分类 知识蒸馏 结构剪枝

在线阅读 下载PDF 职称材料

基于滤波器注意力机制与特征缩放系数的动态网络剪枝 被引量：8

12

作者 卢海伟 夏海峰 袁晓彤 《小型微型计算机系统》 CSCD 北大核心 2019年第9期1832-1838,共7页

结构化剪枝是模型压缩的一种有效方式,裁减掉网络中不重要的滤波器,减小网络的计算量和存储量.然而,仅仅基于滤波器自身的参数信息是无法准确判断该滤波器是否冗余.针对以上问题,提出一种利用卷积层和BN层双层参数信息的动态网络剪枝方... 结构化剪枝是模型压缩的一种有效方式,裁减掉网络中不重要的滤波器,减小网络的计算量和存储量.然而,仅仅基于滤波器自身的参数信息是无法准确判断该滤波器是否冗余.针对以上问题,提出一种利用卷积层和BN层双层参数信息的动态网络剪枝方法,该方法利用滤波器注意力机制以及BN(Batch Normalization)层缩放系数选择冗余滤波器,并对其进行裁剪.该方法具有三个优势:1)端到端的训练剪枝:训练和剪枝同时进行,训练速度更快.2)更大的优化空间:训练过程中动态调整被裁剪的滤波器,搜索最优的剪枝策略.3)更准确的滤波器选择:运用多重参数信息精确选取冗余的滤波器,提高了网络的泛化性能.实验分别在标准CIFAR-10数据集和CIFAR-100数据集上进行,尤其在CIFAR-10数据集上的实验结果表明,压缩后的ResNet56和Res Net110的浮点运算率减少40%多,但精度比基本网络高. 展开更多

关键词 结构化剪枝 动态网络剪枝 注意力机制 BN层缩放系数

在线阅读 下载PDF 职称材料

利用KL散度度量通道冗余度的深度神经网络剪枝方法 被引量：8

13

作者 杨鑫 袁晓彤 《计算机应用与软件》 北大核心 2021年第11期300-306,共7页

提出一种基于KL散度的结构化剪枝方法,用KL散度来衡量通道之间的差异性,并定义通道的重要因子,通过删减重要因子较小的通道来进行结构化剪枝。在CIFAR-10和CIFAR-100数据集上,对ResNet进行结构化剪枝,并对比几种较为先进的硬剪枝方法,发... 提出一种基于KL散度的结构化剪枝方法,用KL散度来衡量通道之间的差异性,并定义通道的重要因子,通过删减重要因子较小的通道来进行结构化剪枝。在CIFAR-10和CIFAR-100数据集上,对ResNet进行结构化剪枝,并对比几种较为先进的硬剪枝方法,发现KL散度能发掘出卷积层中的冗余通道,剪枝后精度可能不会下降太多,在减少10%~30%网络参数与浮点运算的情况下,甚至比原始网络准确率要高0.4到0.6百分点。 展开更多

关键词 深度神经网络 模型压缩 结构化剪枝 KL散度

在线阅读 下载PDF 职称材料

基于双DDPG的全局自适应滤波器剪枝方法 被引量：3

14

作者 王彩玲 王炯 蒋国平 《南京邮电大学学报（自然科学版）》 北大核心 2021年第5期59-66,共8页

滤波器剪枝是模型压缩的有效方法之一。受学习全局重要性(LEGR)剪枝算法思想的启发,提出了一种新的结构化剪枝策略。首先,基于滤波器权值⁃信息熵计算出模型卷积层中每一个滤波器的局部重要性得分;随后,利用双深度确定性策略梯度(DDPG)... 滤波器剪枝是模型压缩的有效方法之一。受学习全局重要性(LEGR)剪枝算法思想的启发,提出了一种新的结构化剪枝策略。首先,基于滤波器权值⁃信息熵计算出模型卷积层中每一个滤波器的局部重要性得分;随后,利用双深度确定性策略梯度(DDPG)算法学习出每一层的全局规模系数和全局偏差系数,把滤波器的局部重要性得分转换成全局重要性得分,并进行全局剪枝得到最优子网络;最后,基于权值自适应加权的多个相同网络联合并行训练,对剪枝后得到的子网络进行性能恢复。在分类数据集CIFAR10、CIFAR100以及ILSVRC⁃2012 ImageNet上的实验结果表明,该方法在保证剪枝后的模型仍具有良好的性能条件下,可以有效地减少网络模型的浮点计算量(FLOPs)。 展开更多

关键词 卷积神经网络 模型压缩 结构化剪枝 信息熵

在线阅读 下载PDF 职称材料

基于改进的MobilenetV3热轧钢带表面缺陷分类 被引量：1

15

作者 熊政 车文刚 +1 位作者 保永莉 刘晓彤 《兰州大学学报（自然科学版）》 CAS CSCD 北大核心 2024年第2期182-186,共5页

提出一种基于轻量化神经网络MobilenetV3-large改进的热轧钢带表面缺陷分类算法,通过剪枝、大量削减卷积层数、调整通道大小和步长,以及修改对应的网络参数快速降低了参数量.为弥补修改模型带来的准确率下降的问题,将激活函数ReLU更换为... 提出一种基于轻量化神经网络MobilenetV3-large改进的热轧钢带表面缺陷分类算法,通过剪枝、大量削减卷积层数、调整通道大小和步长,以及修改对应的网络参数快速降低了参数量.为弥补修改模型带来的准确率下降的问题,将激活函数ReLU更换为Hard-Swish,引入置换注意力机制替换原模型中的通道注意力机制,在进一步降低参数量的同时提高运行效率和分类准确率.在NEU-CLS表面缺陷数据集中的试验结果表明,改进后的算法参数量为0.5 MB,相比原模型降低96.89%,训练图片的时间由19.81 ms/幅降至10.73 ms/幅,平均准确率为99.26%,比改进前提高了5.56%,表明改进后的算法可应用于实时分类. 展开更多

关键词 MobilenetV3算法 转移注意力 结构性剪枝 缺陷分类

在线阅读 下载PDF 职称材料

针对可穿戴设备的稀疏化卷积心律失常分类加速器设计

16

作者 徐轶凡 申烁 +2 位作者 林昊 吴中行 刘昊 《浙江大学学报（理学版）》 CAS CSCD 北大核心 2024年第4期492-500,共9页

近年来,卷积神经网络(convolutional neural networks,CNN)因其优异的检测与识别能力,在心电图(electrocardiogram,ECG)信号的诊断研究中备受瞩目。然而,CNN模型因参数规模和算力需求较大,难以用于资源受限的可穿戴嵌入式设备。虽然使... 近年来,卷积神经网络(convolutional neural networks,CNN)因其优异的检测与识别能力,在心电图(electrocardiogram,ECG)信号的诊断研究中备受瞩目。然而,CNN模型因参数规模和算力需求较大,难以用于资源受限的可穿戴嵌入式设备。虽然使用剪枝技术可压缩网络规模,但稀疏化剪枝后权重的不规则分布使修剪后的网络模型依然存在无法高效处理非零数据的问题。为此,设计了一种高效的稀疏化卷积心律失常分类加速器。首先,采用多批次划分的稀疏压缩数据流方法提高计算效率;其次,设计了稀疏感知的计算阵列(processing element,PE)完成卷积运算,解决剪枝带来的负载不平衡问题。在现场可编程门阵列(field programmable gate array,FPGA)平台上的仿真结果显示,所设计的稀疏化卷积加速器在200 MHz时钟频率下的吞吐率为53.84GOP·s^(-1)、平均功耗为0.263 W、能效比为204.72 GOP·W^(-1)、五分类准确率达98%,相较于以往的稀疏化加速器,最高可以实现2.0~2.4倍的加速、4.5~6.1倍的能效比提升,适用于可穿戴的ECG分类设备。 展开更多

关键词 可穿戴嵌入式设备 非结构化剪枝 卷积神经网络 硬件加速器

在线阅读 下载PDF 职称材料

Bi-Attention:面向终端的细粒度识别网络加速方法

17

作者 钟巧灵 汪啸 +2 位作者 张志斌 李冰 程学旗 《高技术通讯》 CAS 2023年第2期156-166,共11页

细粒度识别是针对具有微小差异的对象进行分类的图像识别任务,深度学习模型在细粒度识别任务上取得了较大的进步。然而现有的细粒度识别深度神经网络模型采用多个模型结构叠加,无法在手机、无人机等资源受限终端设备上部署。本文提出Bi-... 细粒度识别是针对具有微小差异的对象进行分类的图像识别任务,深度学习模型在细粒度识别任务上取得了较大的进步。然而现有的细粒度识别深度神经网络模型采用多个模型结构叠加,无法在手机、无人机等资源受限终端设备上部署。本文提出Bi-Attention细粒度识别模型加速方法,使用高效的TensorSketch运算以及权重共享机制,在Stanford Cars数据集上的准确率为91.6%,且比现有最先进的模型提高1.2%。本文提出一种结构化剪枝训练方法,通过LASSO正则化算法,在模型训练过程删除批归一化(BN)操作中不重要的扩展因子。实验结果表明,该剪枝方法可以降低Bi-Attention模型大小为原来的1/4。 展开更多

关键词 细粒度识别 ATTENTION 结构化剪枝 L1正则化 终端

在线阅读 下载PDF 职称材料

基于稀疏神经网络的图像超分辨率重建算法

18

作者 黎浩民 李光平 《计算机工程》 CAS CSCD 北大核心 2022年第7期247-253,共7页

部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上... 部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上改变权重参数并使用均衡学习策略,提出一种适用于图像超分辨率重建任务的神经网络非结构化剪枝算法RLTH。在不改变网络结构和不增加计算复杂度的前提下,通过搜索原始网络模型的最优稀疏子网络排除冗余参数带来的影响,在有限的参数资源中捕获更细粒度和丰富的图像特征,进而提高网络模型的整体特征表达能力。基于Set5、Set14和BSD100测试集的实验结果表明,与原始网络模型和应用LTH剪枝算法相比,应用RLTH算法获得的重建图像PSNR和SSIM均得到提升,且具有更丰富的细节特征,整体和局部轮廓更清晰。 展开更多

关键词 单帧图像超分辨率重建 神经网络 非结构化剪枝 深度学习 稀疏网络

在线阅读 下载PDF 职称材料