期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
基于知识蒸馏的卷积神经网络压缩方法 被引量:1
1
作者 郑筠 高朋 《沈阳工业大学学报》 北大核心 2025年第3期348-354,共7页
【目的】卷积神经网络作为深度学习领域的一项重要技术,在图像识别、目标检测、自然语言处理等多个领域展现出了卓越的性能。然而,随着模型深度和复杂度的增加,卷积神经网络模型的大小和计算需求也急剧上升,这为模型的部署和实时应用提... 【目的】卷积神经网络作为深度学习领域的一项重要技术,在图像识别、目标检测、自然语言处理等多个领域展现出了卓越的性能。然而,随着模型深度和复杂度的增加,卷积神经网络模型的大小和计算需求也急剧上升,这为模型的部署和实时应用提出了严峻挑战。【方法】为减少神经网络的大小和计算量,并提高模型的效率和可部署性,提出了基于知识蒸馏的卷积神经网络压缩方法。通过将大型复杂模型(教师网络模型)中的知识转移给小型精简模型(学生网络模型)来实现模型的压缩和加速,本文建立了性能优异的教师网络和结构更简单、参数更少的学生网络。教师网络负责提供丰富的特征表示和准确的预测结果,学生网络则通过学习教师网络行为来逼近其性能。使用标准损失函数,并通过反向传播算法迭代更新其参数,确保其在训练数据集上达到良好的性能。采用改进知识蒸馏方法获取综合阈值函数,评估教师网络和学生网络之间的知识差异,并指导学生网络的学习过程。在训练过程中,学生网络利用综合阈值函数进行监督,逐步逼近教师网络的输出,同时保持较小的模型结构和计算复杂度,从而实现了卷积神经网络的压缩处理。【结果】实验结果表明:本文方法在ImageNet和Labelme数据集上均表现出较好的模型压缩效果。其中,本文方法在压缩前后卷积神经网络输出结果的拟合度较高,表明学生网络成功学到了教师网络的关键特征;交叉熵损失值较低,在1.0左右,进一步验证了其良好的预测性能;完成卷积神经网络模型的压缩时间较短,为79.8~89.4 s,表明本文方法具有较高的计算效率。【结论】由以上结果可知,基于知识蒸馏卷积神经网络压缩方法能够有效减小模型结构、降低计算量,并保持甚至提升了模型的性能。本文方法不仅为模型压缩提供了一种新的思路,还为深度学习模型的部署和应用提供了有力支持。此外,本文方法在知识蒸馏方法上进行了改进,通过引入综合阈值函数来更全面地评估和指导模型的学习过程,在一定程度上提升了知识蒸馏的效果和效率。因此,本文方法不仅具有理论价值,还具有重要的实践意义。 展开更多
关键词 卷积神经网络压缩 改进知识蒸馏方法 判别器 学生网络 教师网络 标准损失函数 综合阈值函数 交叉熵损失
在线阅读 下载PDF
基于CFasterVit-TFAM与COS-UMAP模型的滚动轴承故障诊断
2
作者 戚晓利 崔德海 +4 位作者 王志文 赵方祥 王兆俊 毛俊懿 杨文好 《振动与冲击》 北大核心 2025年第10期287-300,共14页
针对FasterVit网络存在的注意力机制失衡、池化策略缺陷导致部分重要特征无法保留和损失函数不能全面考虑所有类别的信息导致学习到的特征比较分散等问题,提出了一种基于CFasterVit-三并联分支融合注意力机制(triple-parallel fusion at... 针对FasterVit网络存在的注意力机制失衡、池化策略缺陷导致部分重要特征无法保留和损失函数不能全面考虑所有类别的信息导致学习到的特征比较分散等问题,提出了一种基于CFasterVit-三并联分支融合注意力机制(triple-parallel fusion attention model,TFAM)与余弦均匀流形逼近与投影(cosineuniform manifold approximation and projection,COS-UMAP)模型的滚动轴承故障诊断方法。该模型由FasterVit-TFAM网络、COS-UMAP降维算法和激活函数类距均值标准差损失函数(class-distance mean standard deviation loss,CMSD)-Softmax组成。首先,提出了一种新的注意力机制TFAM,并与FasterVit网络结合,提升了FasterVit网络信息关注的均衡性和表征能力;其次,将基于COS-UMAP降维算法取代FasterVit网络全连接层前最后一次池化操作,有效筛选并保留多维数据中的重要特征;最后,将类距均值标准差损失函数替换Softmax激活函数中的交叉熵损失函数,更全面地学习特征并提高模型的泛化性。西安交通大学滚动轴承数据集滚动轴承故障试验结果表明,TFAM注意力机制和其他注意力机制相比诊断准确率最大提升8.0%,COS-UMAP对比其他降维算法诊断准确率最大提升15.8%,CMSD对比交叉熵损失函数诊断准确率提升0.5%,所提模型对故障样本的识别准确率达到了99.6%,相比FasterVit提升了1.4%,相较于其他网络模型最大提升7.8%;东南大学滚动轴承数据集仿真验证试验结果表明,所提模型对故障样本识别率达98.6%,相比FasterVit提升了2.2%,平均每轮训练时间缩短了16.92 s,对比其他网络模型最大提升12.2%,有效提高了滚动轴承故障诊断模型的准确率和泛化性能。 展开更多
关键词 故障诊断 滚动轴承 FasterVit 注意力机制 均匀流形逼近与投影 类距均值标准损失函数
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部