期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到324篇文章
< 1 2 … 17 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于深度学习和模型压缩技术的轻量级煤矿人车检测模型——以贵州地区煤矿为例 被引量：2
1
作者 解北京 李恒 +3 位作者 栾铮 雷振 李晓旭 李卓 《煤炭学报》 北大核心 2025年第2期1393-1408,共16页
煤矿工人和载人车辆(煤矿人车)的智能识别是视频监控系统的重要组成部分,也是煤矿智能化发展的关键任务。然而,煤矿人车检测场景较为复杂,大型人车检测模型部署在有限的计算设备上难以实现,如何在模型检测性能和检测效率之间取得平衡存... 煤矿工人和载人车辆(煤矿人车)的智能识别是视频监控系统的重要组成部分,也是煤矿智能化发展的关键任务。然而,煤矿人车检测场景较为复杂,大型人车检测模型部署在有限的计算设备上难以实现,如何在模型检测性能和检测效率之间取得平衡存在诸多挑战。以贵州地区煤矿视频监控数据集为例,提出了一种基于深度学习和模型压缩技术的轻量级煤矿人车检测模型,该模型精准实时的完成了煤矿人车检测任务,对网络进行瘦身的同时几乎没有损失检测性能。具体来说,在网络模型设计阶段,以YOLOv8s为基线提出了一种名为FCW-YOLO的煤矿人车轻量级检测模型,首先将Faster-Block和坐标注意力和开发到网络的特征提取模块中,设计了一种新颖的C2f-Faster-CA轻量级架构,旨在减少网络的冗余通道同时自适应捕捉全局关键信息;其次,采用了WIOU边界回归损失函数以增加模型对普通质量样本的关注,降低了训练样本不平衡带来的回归误差等问题。在模型压缩阶段,联动剪枝算法对提出的FCW-YOLO模型进行通道级别的稀疏,模型可自动识别不重要的通道并对其进行删减,实现了煤矿人车检测模型二次轻量化设计FCWP-YOLO。在自建的煤矿人车检测数据集上的结果表明,提出的模型参数量,计算量和模型大小分别为2.3 M,4.0 GFLOPs,6.0 MB,对比基线模型分别实现了4.9倍、4.7倍、4.4倍的压缩效果,平均检测精度为88.7%,提高了1.1%,每张图像的处理时间仅为5.6 ms。对比多种轻量级架构和先进的检测模型,该方法精度表现优异,计算成本更低,实时性能更好,为资源受限的煤矿场景提供了一种可行的煤矿人车检测方法,满足煤矿视频监控部署要求,可为煤矿人车智能巡检任务提供实时预警。 展开更多
关键词 煤矿工人检测 煤矿载人车辆检测 深度学习 模型压缩 轻量级架构
在线阅读 下载PDF
多方法融合的卷积神经网络模型压缩方法
2
作者 郭开泰 李宇哲 +4 位作者 付东豪 郑洋 任胜寒 胡海虹 梁继民 《西安电子科技大学学报》 北大核心 2025年第3期232-241,共10页
卷积神经网络在实际应用中的计算和存储成本较高,因此模型压缩技术成为部署此类模型的关键。然而,单一压缩技术通常会导致性能下降、泛化能力降低或计算复杂度增加的问题。为此提出了一种融合模型剪枝、知识蒸馏和模型量化的压缩框架。... 卷积神经网络在实际应用中的计算和存储成本较高,因此模型压缩技术成为部署此类模型的关键。然而,单一压缩技术通常会导致性能下降、泛化能力降低或计算复杂度增加的问题。为此提出了一种融合模型剪枝、知识蒸馏和模型量化的压缩框架。首先通过稀疏化训练对模型进行剪枝,减少冗余通道;随后,以原始模型作为教师网络,利用知识蒸馏方法对剪枝后的学生网络进行指导,提升压缩模型的性能;最后采用模型量化技术对压缩后的网络进一步优化以提高其适用性。利用卷积网络中的分类模型和目标检测模型对所提出方法进行测试,实验结果表明,该模型压缩框架能够有效降低模型的存储和计算需求,在多个测试模型上,模型大小缩减幅度超过90%,推理速度提升3~4倍,同时精度损失控制在2%以内。提出的多方法融合的模型压缩框架在保证卷积神经网络模型性能的同时,减少了模型大小,提升了推理速度,适用于资源受限环境中卷积神经网络的高效部署。 展开更多
关键词 模型压缩 卷积神经网络 模型剪枝 知识蒸馏 模型量化
在线阅读 下载PDF
基于剪枝-蒸馏的视觉Transformer模型压缩
3
作者 郑洋 蒋晓天 +2 位作者 付东豪 郭开泰 梁继民 《西安电子科技大学学报》 北大核心 2025年第4期55-65,共11页
现如今,视觉Transformer在计算机视觉领域的许多任务中都取得了卓越的表现,但其复杂的网络结构通常需要占用大量的存储和计算资源,因此难以在计算资源受限设备上广泛部署。为此提出了一种基于剪枝和蒸馏的视觉Transformer模型压缩方法,... 现如今,视觉Transformer在计算机视觉领域的许多任务中都取得了卓越的表现,但其复杂的网络结构通常需要占用大量的存储和计算资源,因此难以在计算资源受限设备上广泛部署。为此提出了一种基于剪枝和蒸馏的视觉Transformer模型压缩方法,旨在保证模型性能的前提下缩减模型大小。首先,通过对视觉Transformer的结构分析,确定宽度剪枝的对象为多头自注意力的注意力头和多层感知机中隐藏层的神经元,并采用基于模型损失函数变化的参数重要性评估策略对其进行参数重要性评估。其次,通过剪枝后蒸馏策略在模型宽度维度进行裁剪并恢复剪枝后宽度子网络的精度。最后,在深度维度上,通过剪枝后蒸馏得到最终的压缩模型。所提出方法在Tiny ImageNet、CIFAR-100和CIFAR-10数据集上对视觉Transformer进行了压缩实验。其中,在Tiny ImageNet上,ViT-S模型在参数量和计算量减少30%时,精度仅降低0.3%,而ViT-B模型精度甚至提升了0.6%。实验结果表明,所提方法能够有效实现模型精度和压缩率的平衡。 展开更多
关键词 模型压缩 视觉Transformer 剪枝 知识蒸馏
在线阅读 下载PDF
视觉深度学习模型压缩加速综述 被引量：4
4
作者 丁贵广 陈辉 +3 位作者 王澳 杨帆 熊翊哲 梁伊雯 《智能系统学报》 CSCD 北大核心 2024年第5期1072-1081,共10页
近年来,深度学习模型规模越来越大,在嵌入式设备等资源受限环境中,大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述,但相关工作集中在卷积神经网络的压缩加速,缺乏对视觉Tran... 近年来,深度学习模型规模越来越大,在嵌入式设备等资源受限环境中,大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述,但相关工作集中在卷积神经网络的压缩加速,缺乏对视觉Transformer模型压缩加速方法的整理和对比分析。因此,本文以视觉深度学习模型压缩技术为核心,对卷积神经网络和视觉Transformer模型2个最重要的视觉深度模型进行了相关技术手段的整理,并对技术热点和挑战进行了总结和分析。本文旨在为研究者提供一个全面了解模型压缩和加速领域的视角,促进深度学习模型压缩加速技术的发展。 展开更多
关键词 视觉深度学习 模型压缩 轻量化结构 模型剪枝 模型量化 模型蒸馏 TRANSFORMER 序列剪枝
在线阅读 下载PDF
自动语音识别模型压缩算法综述 被引量：2
5
作者 时小虎 袁宇平 +2 位作者 吕贵林 常志勇 邹元君 《吉林大学学报（理学版）》 CAS 北大核心 2024年第1期122-131,共10页
随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性... 随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性能具有重要价值.针对上述问题,全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、模型量化、低秩分解、网络剪枝、参数共享以及组合模型几类方法,并进行了系统综述,为模型在资源受限设备的部署提供可选的解决方案. 展开更多
关键词 语音识别 模型压缩 知识蒸馏 模型量化 低秩分解 网络剪枝 参数共享
在线阅读 下载PDF
面向FPGA的二值神经网络模型压缩方法研究 被引量：4
6
作者 陈胤杰 裴颂文 《小型微型计算机系统》 CSCD 北大核心 2024年第6期1356-1362,共7页
针对卷积神经网络在正向推理时的高计算复杂度与空间复杂度问题,提出了一种基于二值神经网络(Binary Neural Network,BNN)的过滤器剪枝算法(Binary Filter Pruning:BFP). BFP算法通过剪除L2范数较小的过滤器,构建剪枝压缩后的二值神经... 针对卷积神经网络在正向推理时的高计算复杂度与空间复杂度问题,提出了一种基于二值神经网络(Binary Neural Network,BNN)的过滤器剪枝算法(Binary Filter Pruning:BFP). BFP算法通过剪除L2范数较小的过滤器,构建剪枝压缩后的二值神经网络模型.进一步面向FPGA(Field Programmable Gate Array)平台,设计并实现了基于二值复值神经网络(Binary Complex Neural Network,BCNN)的ResNet-18加速计算模型.对二值复值卷积层与预处理过程中的卷积层,分别设计了数据预处理合并优化与数据重排序.实验结果显示,BFP算法在CIFAR-10数据集上的分类精度,比基于SLR(Surrogate Lagrangian Relaxation)的通道剪枝方法平均提高了1%.与CPU平台相比,设计的加速器在PYNQ-Z1平台上的计算性能提高了23倍. 展开更多
关键词 二值神经网络 过滤器剪枝 FPGA 模型压缩
在线阅读 下载PDF
基于云边协同子类蒸馏的卷积神经网络模型压缩方法 被引量：2
7
作者 孙婧 王晓霞 《计算机科学》 CSCD 北大核心 2024年第5期313-320,共8页
当前卷积神经网络模型的训练和分发流程中,云端拥有充足的计算资源和数据集,但难以应对边缘场景中碎片化的需求。边缘侧能够直接进行模型的训练和推理,但难以直接使用云端按照统一规则训练的卷积神经网络模型。针对在边缘侧资源受限的... 当前卷积神经网络模型的训练和分发流程中,云端拥有充足的计算资源和数据集,但难以应对边缘场景中碎片化的需求。边缘侧能够直接进行模型的训练和推理,但难以直接使用云端按照统一规则训练的卷积神经网络模型。针对在边缘侧资源受限的情况下,卷积神经网络算法进行模型压缩的训练和推理有效性低的问题,首先,提出了一种基于云边协同的模型分发和训练框架,该框架可以结合云端和边缘侧各自的优势进行模型再训练,满足边缘对指定识别目标、指定硬件资源和指定精度的需求。其次,基于云边协同框架训练的思路,对知识蒸馏技术进行改进,提出了新的基于Logits和基于Channels两种子类知识蒸馏方法(SLKD和SCKD),云服务端先提供具有多目标识别的模型,而后通过子类知识蒸馏的方法,在边缘侧将模型重新训练为一个可以在资源受限的场景下部署的轻量化模型。最后,在CIFAR-10公共数据集上,对联合训练框架的有效性和两种子类蒸馏算法进行了验证。实验结果表明,在压缩比为50%的情况下,相比具有全部分类的模型,所提模型推理准确率得到了显著的提升(10%~11%);相比模型的重新训练,通过知识蒸馏方法训练出的模型精度也有显著提高,并且压缩比率越高,模型精度提升越明显。 展开更多
关键词 云边协同 深度学习 知识蒸馏 模型压缩 特征提取
在线阅读 下载PDF
面向空间场景建模的三角网格神经辐射场模型压缩 被引量：1
8
作者 李中衡 周轶丁 +4 位作者 冯新健 张秋光 王晶 郭宇 王海岳 《载人航天》 CSCD 北大核心 2024年第6期844-853,共10页
为解决神经辐射场渲染方法模型内存占用过大的问题,提出了神经三角网格算法。通过在训练好的三维网格模型中构建顶点特征向量,利用传统渲染管线中的光栅化计算射线与三角网格的交点,并通过重心坐标获得对应交点的特征。在多个公开数据... 为解决神经辐射场渲染方法模型内存占用过大的问题,提出了神经三角网格算法。通过在训练好的三维网格模型中构建顶点特征向量,利用传统渲染管线中的光栅化计算射线与三角网格的交点,并通过重心坐标获得对应交点的特征。在多个公开数据集上的实验结果表明:所提方法在保证渲染质量的前提下,只需要较小的存储空间来存储神经辐射场模型,模型的压缩率达到了25%。可视化的实验结果表明:所提方法能够得到高质量的新视角合成结果。该方法能够剔除场景中无用点的特征和场景内部的特征,减小模型的存储空间,此外三角网格的顶点特征能够直接利用顶点索引获取,从而能够在嵌入式设备上应用。 展开更多
关键词 模型压缩 神经辐射场 光栅渲染 神经三角网格
在线阅读 下载PDF
基于元学习的无数据模型压缩
9
作者 张浩 郭荣佐 +2 位作者 成嘉伟 吴建成 贾森泓 《计算机工程与设计》 北大核心 2024年第7期2034-2040,共7页
针对现有深度学习无数据蒸馏框架下,数据合成效率低下以及蒸馏模型性能不足的问题,提出一种基于元学习的快速数据合成方法。通过批量标准化层的平均值和方差,及动量自适应调整,提取可重用特征,对特定任务执行少量更新,达到提高数据合成... 针对现有深度学习无数据蒸馏框架下,数据合成效率低下以及蒸馏模型性能不足的问题,提出一种基于元学习的快速数据合成方法。通过批量标准化层的平均值和方差,及动量自适应调整,提取可重用特征,对特定任务执行少量更新,达到提高数据合成效率的目的;通过提出同异构教师鉴别器提取双采样知识,解决数据样本多样性与泛化性问题;改进传统知识蒸馏损失,采用学生自恢复蒸馏,通过一个生成块,提高模型性能。实验结果表明,提出方法优于现有无数据蒸馏方法。 展开更多
关键词 元学习 模型压缩 无数据 知识蒸馏 数据合成 批归一化 深度学习
在线阅读 下载PDF
面向钻蛀振动实时侦听的深度学习模型压缩
10
作者 张海燕 袁明帅 +4 位作者 蒋琦 孙钰 崔剑 任利利 骆有庆 《北京林业大学学报》 CAS CSCD 北大核心 2021年第6期92-100,共9页
【目的】基于深度学习的钻蛀振动识别模型结合边缘计算可实现林业蛀干害虫钻蛀振动长期监测和实时预警,但要求大幅压缩智能识别模型的参数量和运算量。本研究采用深度学习模型压缩算法,在不损失精度的前提下,对已有的钻蛀振动识别模型... 【目的】基于深度学习的钻蛀振动识别模型结合边缘计算可实现林业蛀干害虫钻蛀振动长期监测和实时预警,但要求大幅压缩智能识别模型的参数量和运算量。本研究采用深度学习模型压缩算法,在不损失精度的前提下,对已有的钻蛀振动识别模型进行压缩,减小模型的体积并提升模型在嵌入式平台的识别速度。【方法】首先采集双条杉天牛钻蛀振动和背景噪声两类信号训练人工设计的5层卷积神经网络BoringNet,得到钻蛀振动识别模型;然后分别使用不同裁剪率的滤波器裁剪、模型量化、多目标知识蒸馏对钻蛀振动识别模型进行压缩;最后设计上述压缩算法的组合策略,联合使用3种算法对蛀振动识别模型进行压缩,探究多种组合的模型压缩效果。【结果】3种模型压缩算法组合,裁剪率为60%时模型达到最优,此时模型计算量和参数量分别从原模型的18.06×10^(6)次和0.54×10^(6)个降低为3.01×10^(6)次和0.09×10^(6)个,模型体积从2200 kB压缩至134.9 kB,树莓派3B+上的识别时间由原模型的9.04 ms降低至1.65 ms,而模型精度仍能达到99.29%,提升了0.5%。【结论】本研究的深度学习模型压缩方法,可以针对钻蛀振动侦听场景大幅压缩模型参数量和运算量,在保证准确率的前提下实现嵌入式平台的实时识别,促进钻蛀振动识别模型从工作站试验到野外实地部署的转变,为钻蛀振动识别的边缘计算奠定基础。 展开更多
关键词 深度学习 边缘计算 钻蛀振动识别 模型压缩 模型压缩算法组合
在线阅读 下载PDF
基于模型压缩的ED-YOLO电力巡检无人机避障目标检测算法 被引量：93
11
作者 彭继慎 孙礼鑫 +1 位作者 王凯 宋立业 《仪器仪表学报》 EI CAS CSCD 北大核心 2021年第10期161-170,共10页
针对现有卷积神经网络模型体积大、运算量高,导致电力巡检无人机检测速率与精度无法兼顾的问题,提出一种基于模型压缩的ED-YOLO网络实现无人机避障的目标检测算法。该目标检测算法以YOLOv4为基础,首先在主干网络中加入通道注意力机制,... 针对现有卷积神经网络模型体积大、运算量高,导致电力巡检无人机检测速率与精度无法兼顾的问题,提出一种基于模型压缩的ED-YOLO网络实现无人机避障的目标检测算法。该目标检测算法以YOLOv4为基础,首先在主干网络中加入通道注意力机制,在不增加计算量前提下提高检测精度;其次在特征金字塔部分运用深度可分离卷积替换传统卷积,减少卷积计算量;最后利用模型压缩策略裁剪网络中冗余通道,减小模型体积并提高模型检测速度。在自主构建的9600张电力巡检无人机飞行障碍的数据集进行测试,ED-YOLO与YOLOv4相比,其障碍物目标检测的平均精度均值只降低了1.4%,而模型体积减少了94.9%,浮点运算量减少了82.1%,预测速度提升了2.3倍。实验结果表明,对比多种其他现存方法,本文提出的基于模型压缩的ED-YOLO目标检测算法有着精度高、体积小和检测速度快的优势,满足电力巡检无机避障检测要求。 展开更多
关键词 电力巡检无人机 目标检测 注意力机制 深度可分离卷积 模型压缩
在线阅读 下载PDF
基于自适应分层阈值判断的神经网络模型压缩 被引量：4
12
作者 卢鹏 万莹 +3 位作者 邹国良 陈金宇 郑宗生 王振华 《计算机工程》 CAS CSCD 北大核心 2022年第1期112-118,126,共8页
面对多样化的应用环境,卷积神经网络(CNN)的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批... 面对多样化的应用环境,卷积神经网络(CNN)的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。 展开更多
关键词 深度学习 图像识别 卷积神经网络 模型压缩 网络剪枝
在线阅读 下载PDF
面向轻量化神经网络的模型压缩与结构搜索 被引量：6
13
作者 梁峰 董名 +2 位作者 田志超 张国和 成舒婷 《西安交通大学学报》 EI CAS CSCD 北大核心 2020年第11期106-112,共7页
针对轻量化神经网络中大量1×1卷积操作限制网络模型压缩的问题,提出了轻量化神经网络模型压缩算法,并对网络结构进行了搜索。根据有限长单位冲激响应滤波器线性相位特性思想,设计了具有线性相位约束的1×1卷积滤波器,将其应用... 针对轻量化神经网络中大量1×1卷积操作限制网络模型压缩的问题,提出了轻量化神经网络模型压缩算法,并对网络结构进行了搜索。根据有限长单位冲激响应滤波器线性相位特性思想,设计了具有线性相位约束的1×1卷积滤波器,将其应用在MobileNet网络中验证了有效性。采用遗传算法对MobileNet网络中具有线性相位约束的1×1卷积滤波器比例进行搜索,使用权重共享算法对遗传算法搜索过程进行加速,使用相对适应度指导算法进化方向。实验证明:具有线性相位约束滤波器的MobileNet网络在Cifar10数据集上的网络参数量降低为原始MobileNet网络的51.24%,网络准确率下降0.38%;在ImageNet数据集上的网络参数量降低为原始MobileNet网络的62.88%,网络top5准确率下降1.44%,具有线性相位约束的1×1卷积滤波器可以对网络模型进行有效压缩;遗传算法搜索出的最优结构网络准确率与MobileNet网络的相仿,网络参数量下降为原始网络的83.54%,网络模型更小,性能更优。 展开更多
关键词 轻量化神经网络 模型压缩 遗传算法 权重共享
在线阅读 下载PDF
基于模型压缩与感受野增强的下茧实时检测 被引量：4
14
作者 张印辉 杨宏宽 +1 位作者 刘强 何自芬 《纺织学报》 EI CAS CSCD 北大核心 2021年第11期29-38,共10页
针对目前选茧时下茧检测主要依赖人工目测,工作效率低的问题,提出一种基于锚点框参数预置、通道剪枝和嵌入感受野模块改进的轻量化下茧实时检测模型。首先,通过K-means聚类分析出适用于下茧检测的锚点框以预置YOLOv3模型参数;然后,根据... 针对目前选茧时下茧检测主要依赖人工目测,工作效率低的问题,提出一种基于锚点框参数预置、通道剪枝和嵌入感受野模块改进的轻量化下茧实时检测模型。首先,通过K-means聚类分析出适用于下茧检测的锚点框以预置YOLOv3模型参数;然后,根据预设的剪枝率对稀疏化训练后的模型进行基于批量正则化层缩放因子的模型剪枝,以此压缩模型的大小;最后,在剪枝后的模型中嵌入感受野模块,使模型的感受野变大,增强模型的辨别能力和鲁棒性。实验结果表明:提出的下茧实时检测模型大小为46.90 M,平均检测速度达到50.18帧/s,平均检测精度为96.80%,较原YOLOv3模型参数压缩了79.96%,平均检测速度提高了60.63%,平均检测精度提高了3.20%。 展开更多
关键词 蚕茧 下茧检测 YOLOv3模型 聚类分析 模型压缩 感受野模块
在线阅读 下载PDF
面向嵌入式应用的深度神经网络模型压缩技术综述 被引量：5
15
作者 王磊 赵英海 +1 位作者 杨国顺 王若琪 《北京交通大学学报》 CAS CSCD 北大核心 2017年第6期34-41,共8页
结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和... 结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和内存访问带宽的限制,以及计算资源相对不足的问题,开展嵌入式应用的深度神经网络模型压缩技术研究,以便缩减模型体积和对存储空间的需求,优化模型计算过程.对模型压缩技术进行分类概述,包括模型裁剪、精细化模型设计、模型张量分解和近似计算和模型量化等,并对发展状况进行总结.为深度神经网络模型压缩技术的研究提供参考. 展开更多
关键词 深度神经网络 模型压缩 模型裁剪 张量分解 嵌入式系统
在线阅读 下载PDF
基于联合剪枝深度模型压缩的种子分选方法研究 被引量：2
16
作者 董燕 李环宇 +2 位作者 李卫杰 李春雷 刘洲峰 《河南农业科学》 北大核心 2022年第1期162-170,共9页
现有基于深度学习的种子分级分选方法已取得了理想的识别效果,但由于分选方法的性能依赖于模型的宽度和深度,导致模型参数量显著增加,使其难以部署在实际应用中资源受限的边缘设备上。为此,提出了一种通道和卷积层联合剪枝的深度模型压... 现有基于深度学习的种子分级分选方法已取得了理想的识别效果,但由于分选方法的性能依赖于模型的宽度和深度,导致模型参数量显著增加,使其难以部署在实际应用中资源受限的边缘设备上。为此,提出了一种通道和卷积层联合剪枝的深度模型压缩方法,在通道剪枝阶段,将稀疏正则化训练的BN层参数作为衡量通道重要性的指标,在不损失模型精度的前提下,实现最大限度的通道剪枝压缩。然后提出基于线性探针的层剪枝方法,在压缩模型的同时减少内存访问,从而提升模型推理速度。最后采用知识蒸馏技术对剪枝网络进行知识迁移,补偿网络因剪枝而造成的精度损失。结果表明,在红芸豆和玉米种子数据集上所提出的方法使模型计算量减少86.55%和91.55%情况下,分别实现了实际推理速度2.1倍和2.8倍的提升,且仍保持较好的识别准确度(97.38%和96.56%),为模型在实际种子分选系统的部署提供技术支撑。 展开更多
关键词 种子分级分选 计算机视觉 深度学习 模型压缩 层剪枝 知识蒸馏
在线阅读 下载PDF
图像分类卷积神经网络的特征选择模型压缩方法（英文） 被引量：8
17
作者 邹月娴 余嘉胜 +2 位作者 陈泽晗 陈锦 王毅 《控制理论与应用》 EI CAS CSCD 北大核心 2017年第6期746-752,共7页
深度卷积神经网络(convolutional neural networks,CNN)作为特征提取器(feature extractor,CNN-FE)已被广泛应用于许多领域并获得显著成功.根据研究评测可知CNN-FE具有大量参数,这大大限制了CNN-FE在如智能手机这样的内存有限的设备上... 深度卷积神经网络(convolutional neural networks,CNN)作为特征提取器(feature extractor,CNN-FE)已被广泛应用于许多领域并获得显著成功.根据研究评测可知CNN-FE具有大量参数,这大大限制了CNN-FE在如智能手机这样的内存有限的设备上的应用.本文以AlexNet卷积神经网络特征提取器为研究对象,面向图像分类问题,在保持图像分类性能几乎不变的情况下减少CNN-FE模型参数量.通过对AlexNet各层参数分布的详细分析,作者发现其全连接层包含了大约99%的模型参数,在图像分类类别较少的情况,AlexNet提取的特征存在冗余.因此,将CNN-FE模型压缩问题转化为深度特征选择问题,联合考虑分类准确率和压缩率,本文提出了一种新的基于互信息量的特征选择方法,实现CNN-FE模型压缩.在公开场景分类数据库以及自建的无线胶囊内窥镜(wireless capsule endoscope,WCE)气泡图片数据库上进行图像分类实验.结果表明本文提出的CNN-FE模型压缩方法减少了约83%的AlexNet模型参数且其分类准确率几乎保持不变. 展开更多
关键词 卷积神经网络 图像分类 特征提取 特征选择 模型压缩
在线阅读 下载PDF
A3C深度强化学习模型压缩及知识抽取 被引量：2
18
作者 张晶 王子铭 任永功 《计算机研究与发展》 EI CSCD 北大核心 2023年第6期1373-1384,共12页
异步优势演员评论家(asynchronous advantage actor-critic,A3C)构建一主多从异步并行深度强化学习框架,其在最优策略探索中存在求解高方差问题,使主智能体难以保证全局最优参数更新及最佳策略学习.同时,利用百万计算资源构建的大规模... 异步优势演员评论家(asynchronous advantage actor-critic,A3C)构建一主多从异步并行深度强化学习框架,其在最优策略探索中存在求解高方差问题,使主智能体难以保证全局最优参数更新及最佳策略学习.同时,利用百万计算资源构建的大规模并行网络,难以部署低功耗近端平台.针对上述问题,提出紧凑异步优势演员评论家(Compact_A3C)模型,实现模型压缩及知识抽取.该模型冻结并评价A3C框架中所有子智能体学习效果,将评价结果转化为主智能体更新概率,保证全局最优策略获取,提升大规模网络资源利用率.进一步,模型将优化主智能体作为“教师网络”,监督小规模“学生网络”前期探索与策略引导,并构建线性衰减损失函数鼓励“学生网络”对复杂环境自由探索,强化自主学习能力,实现大规模A3C模型知识抽取及网络压缩.建立不同压缩比“学生网络”,在流行Gym Classic Control与Atari 2600环境中达到了与大规模“教师网络”一致的学习效果.模型代码公布在https://github.com/meadewaking/Compact_A3C. 展开更多
关键词 强化学习 深度强化学习 演员评论家模型 异步优势演员评论家模型 模型压缩
在线阅读 下载PDF
基于特征复用的卷积神经网络模型压缩方法 被引量：6
19
作者 冀树伟 杨喜旺 +1 位作者 黄晋英 尹宁 《计算机应用》 CSCD 北大核心 2019年第6期1607-1613,共7页
为了在不降低准确率的前提下,减小卷积神经网络模型的体积与计算量,提出一种基于特征复用的卷积神经网络压缩模块--特征复用单元(FR-unit)。首先,针对不同类型的卷积神经网络结构,提出不同的优化方法;然后,在对输入特征图进行卷积操作后... 为了在不降低准确率的前提下,减小卷积神经网络模型的体积与计算量,提出一种基于特征复用的卷积神经网络压缩模块--特征复用单元(FR-unit)。首先,针对不同类型的卷积神经网络结构,提出不同的优化方法;然后,在对输入特征图进行卷积操作后,将输入特征与输出特征进行结合;最后,将结合后的特征传递给下一层。通过对低层特征的重复使用,使总的提取的特征数量不发生改变,以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证,实验结果表明,优化后的VGG模型体积缩小为优化前的75.4%,预测时间缩短为优化前的43.5%;优化后的Resnet模型体积缩小为优化前的53.1%,预测时间缩短为优化前的60.9%,且在测试集上的准确率均未降低。 展开更多
关键词 卷积神经网络 特征复用 网络加速 模型压缩
在线阅读 下载PDF
深度学习模型压缩方法及产品研究 被引量：2
20
作者 陆晔 祝涵珂 黄海涛 《电信科学》 2020年第S01期185-192,共8页
在深度学习部署时面临算力不足的情况须进行模型压缩的背景下,主要研究模型压缩目前正在使用的方法,介绍每种方法背后使用到的算法以及方法组合产生的压缩提升效果,并分析各种方法的利弊。着重介绍市场上已有的几款模型压缩产品,对照已... 在深度学习部署时面临算力不足的情况须进行模型压缩的背景下,主要研究模型压缩目前正在使用的方法,介绍每种方法背后使用到的算法以及方法组合产生的压缩提升效果,并分析各种方法的利弊。着重介绍市场上已有的几款模型压缩产品,对照已有的模型压缩方法,用来帮助已在线产品实现快速压缩和部署,减少开发及维护成本。 展开更多
关键词 深度学习 模型压缩 剪枝 参数共享 参数量化
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 17 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部