-
题名基于知识蒸馏的卷积神经网络压缩方法
被引量：1
- 1
-
-
作者
郑筠
高朋
-
机构
华南理工大学电子与信息学院
深圳供电局有限公司信息中心
-
出处
《沈阳工业大学学报》
北大核心
2025年第3期348-354,共7页
-
基金
广东省科技攻关项目(20205899R01)
中国南方电网有限责任公司创新项目(090000KK52200083)。
-
文摘
【目的】卷积神经网络作为深度学习领域的一项重要技术,在图像识别、目标检测、自然语言处理等多个领域展现出了卓越的性能。然而,随着模型深度和复杂度的增加,卷积神经网络模型的大小和计算需求也急剧上升,这为模型的部署和实时应用提出了严峻挑战。【方法】为减少神经网络的大小和计算量,并提高模型的效率和可部署性,提出了基于知识蒸馏的卷积神经网络压缩方法。通过将大型复杂模型(教师网络模型)中的知识转移给小型精简模型(学生网络模型)来实现模型的压缩和加速,本文建立了性能优异的教师网络和结构更简单、参数更少的学生网络。教师网络负责提供丰富的特征表示和准确的预测结果,学生网络则通过学习教师网络行为来逼近其性能。使用标准损失函数,并通过反向传播算法迭代更新其参数,确保其在训练数据集上达到良好的性能。采用改进知识蒸馏方法获取综合阈值函数,评估教师网络和学生网络之间的知识差异,并指导学生网络的学习过程。在训练过程中,学生网络利用综合阈值函数进行监督,逐步逼近教师网络的输出,同时保持较小的模型结构和计算复杂度,从而实现了卷积神经网络的压缩处理。【结果】实验结果表明:本文方法在ImageNet和Labelme数据集上均表现出较好的模型压缩效果。其中,本文方法在压缩前后卷积神经网络输出结果的拟合度较高,表明学生网络成功学到了教师网络的关键特征;交叉熵损失值较低,在1.0左右,进一步验证了其良好的预测性能;完成卷积神经网络模型的压缩时间较短,为79.8~89.4 s,表明本文方法具有较高的计算效率。【结论】由以上结果可知,基于知识蒸馏卷积神经网络压缩方法能够有效减小模型结构、降低计算量,并保持甚至提升了模型的性能。本文方法不仅为模型压缩提供了一种新的思路,还为深度学习模型的部署和应用提供了有力支持。此外,本文方法在知识蒸馏方法上进行了改进,通过引入综合阈值函数来更全面地评估和指导模型的学习过程,在一定程度上提升了知识蒸馏的效果和效率。因此,本文方法不仅具有理论价值,还具有重要的实践意义。
-
关键词
卷积神经网络压缩
改进知识蒸馏方法
判别器
学生网络
教师网络
标准损失函数
综合阈值函数
交叉熵损失值
-
Keywords
convolutional neural network compression
improved knowledge distillation method
discriminator
student network
teacher network
standard loss function
comprehensive threshold function
cross entropy loss value
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于知识蒸馏的超分辨率卷积神经网络压缩方法
被引量：8
- 2
-
-
作者
高钦泉
赵岩
李根
童同
-
机构
福州大学物理与信息工程学院
福建省医疗器械与医药技术重点实验室(福州大学)
福建帝视信息科技有限公司
-
出处
《计算机应用》
CSCD
北大核心
2019年第10期2802-2808,共7页
-
基金
国家自然科学基金资助项目(61802065)~~
-
文摘
针对目前用于超分辨率图像重建的深度学习网络模型结构深且计算复杂度高,以及存储网络模型所需空间大,进而导致其无法在资源受限的设备上有效运行的问题,提出一种基于知识蒸馏的超分辨率卷积神经网络的压缩方法。该方法使用一个参数多、重建效果好的教师网络和一个参数少、重建效果较差的学生网络。首先训练好教师网络,然后使用知识蒸馏的方法将知识从教师网络转移到学生网络,最后在不改变学生网络的网络结构及参数量的前提下提升学生网络的重建效果。实验使用峰值信噪比(PSNR)评估重建质量的结果,使用知识蒸馏方法的学生网络与不使用知识蒸馏方法的学生网络相比,在放大倍数为3时,在4个公开测试集上的PSNR提升量分别为0.53dB、0.37dB、0.24dB和0.45dB。在不改变学生网络结构的前提下,所提方法显著地改善了学生网络的超分辨率重建效果。
-
关键词
超分辨率
知识蒸馏
卷积神经网络压缩
教师网络
学生网络
-
Keywords
super-resolution
knowledgedistillation
convolutional neural networkcompression
teacher network
student network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于压缩卷积神经网络的心律不齐分类方法
- 3
-
-
作者
韩传奇
崔莉
-
机构
中国科学院计算技术研究所
中国科学院大学
-
出处
《高技术通讯》
CAS
2023年第9期895-904,共10页
-
基金
国家自然科学基金(61672498)资助项目。
-
文摘
心律不齐是一种常见的心脏疾病,严重时可能会危及生命,因此对该疾病开展早期筛查和分类在临床医学中具有重要意义。搭载心电信号(ECG)传感器的可穿戴设备凭借低成本和便捷等特点,是实现日常心脏健康监测的理想平台之一。然而受制于计算能力等因素的限制,可穿戴设备需要将数据上传到云端进行分析,增加了等待时延和用户隐私泄露风险。另一方面,现有心律不齐分类算法在训练时受疾病样本分布不平衡等因素的影响,在识别部分异常病症时的表现不尽人意,限制了其应用范围。为解决上述问题,本文提出了一种基于压缩卷积神经网络的心律不齐分类算法,增强了其在移动平台上的部署能力。同时在训练过程中通过将类别先验分布引入损失函数中,提升了算法对异常病症的识别能力。实验结果表明,本文提出的压缩模型相比经典模型在减少98.2%参数量的同时,超越了许多相关工作取得了0.759的宏F1值。
-
关键词
可穿戴设备
心律不齐分类
压缩卷积神经网络
类别不平衡
损失函数
-
Keywords
wearable device
arrhythmia classification
compressed convolutional neural network
class imbalance
loss function
-
分类号
TN911.7
[电子电信—通信与信息系统]
TP183
[自动化与计算机技术—控制理论与控制工程]
R541.7
[医药卫生—心血管疾病]
-
