期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
深度神经网络压缩与加速综述 被引量:62
1
作者 纪荣嵘 林绍辉 +2 位作者 晁飞 吴永坚 黄飞跃 《计算机研究与发展》 EI CSCD 北大核心 2018年第9期1871-1888,共18页
深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量... 深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望. 展开更多
关键词 深度神经网络压缩 深度神经网络加速 参数剪枝 参数共享 低秩分解 知识蒸馏
在线阅读 下载PDF
深度神经网络压缩与加速综述 被引量:20
2
作者 曾焕强 胡浩麟 +2 位作者 林向伟 侯军辉 蔡灿辉 《信号处理》 CSCD 北大核心 2022年第1期183-194,共12页
近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要... 近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此,在不显著影响模型精度的前提下,通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类:参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别,本文首先分析了各自的性能及存在的缺陷。另外,本文总结了模型压缩与加速的性能评估方法。最后,讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。 展开更多
关键词 深度神经网络压缩与加速 深度学习 模型剪枝 知识蒸馏 参数量化
在线阅读 下载PDF
面向轻量卷积神经网络的训练后量化方法
3
作者 杨杰 李琮 +3 位作者 胡庆浩 陈显达 王云鹏 刘晓晶 《图学学报》 北大核心 2025年第4期709-718,共10页
当前训练后量化方法(post-training quantization)在高比特量化位宽下可以实现精度近乎无损的量化,但对于轻量卷积神经网络(CNN)来说,其量化误差仍然不可忽视,特别是低位宽(<4比特)量化的情况。针对该问题,提出了一种面向轻量CNN的... 当前训练后量化方法(post-training quantization)在高比特量化位宽下可以实现精度近乎无损的量化,但对于轻量卷积神经网络(CNN)来说,其量化误差仍然不可忽视,特别是低位宽(<4比特)量化的情况。针对该问题,提出了一种面向轻量CNN的训练后量化方法,即块级批归一化学习(BBL)方法。不同于当前训练后量化方法合并批归一化层的方式,该方法以模型块为单位保留批归一化层的权重,基于块级特征图重建损失对模型量化参数和批归一化层的参数进行学习,且更新批归一化层的均值和方差等统计量,以一种简单且有效的方式缓解了轻量CNN在低比特量化时产生的分布漂移问题。其次,为了降低训练后量化方法对校准数据集的过拟合,构建了块级的数据增强方法,避免不同模型块对同一批校准数据进行学习。并在ImageNet数据集上进行了实验验证,实验结果表明,相比于当前训练后量化算法,BBL方法识别精度最高能提升7.72个百分点,并有效减少轻量CNN在低比特训练后量化时产生的量化误差。 展开更多
关键词 深度神经网络压缩 训练后量化 低比特量化 轻量卷积神经网络 轻量化智能
在线阅读 下载PDF
深度神经网络模型压缩方法与进展 被引量:10
4
作者 赖叶静 郝珊锋 黄定江 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2020年第5期68-82,共15页
深度神经网络(Deep Neural Network, DNN)模型通过巨大的内存消耗和高计算量来实现强大的性能,难以部署在有限资源的硬件平台上.通过模型压缩来降低内存成本和加速计算已成为热点问题,近年来已有大量的这方面的研究工作.主要介绍了4种... 深度神经网络(Deep Neural Network, DNN)模型通过巨大的内存消耗和高计算量来实现强大的性能,难以部署在有限资源的硬件平台上.通过模型压缩来降低内存成本和加速计算已成为热点问题,近年来已有大量的这方面的研究工作.主要介绍了4种具有代表性的深度神经网络压缩方法,即网络剪枝、量化、知识蒸馏和紧凑神经网络设计;着重介绍了近年来具有代表性的压缩模型方法及其特点;最后,总结了模型压缩的相关评价标准和研究前景. 展开更多
关键词 深度神经网络压缩 网络剪枝 量化 知识蒸馏 紧凑神经网络
在线阅读 下载PDF
基于网络压缩与切割的深度模型边云协同加速机制研究 被引量:2
5
作者 王诺 李丽颖 +1 位作者 钱栋炜 魏同权 《华东师范大学学报(自然科学版)》 CAS CSCD 北大核心 2021年第6期112-123,共12页
人工智能(Artificial Intelligence,AI)的先进技术已被广泛应用于实时地处理大量数据,以期实现快速响应.但是,部署基于AI的各种应用程序的常规方法带来了巨大的计算和通信开销.为了解决这一问题,提出了一种基于网络压缩与切割技术的深... 人工智能(Artificial Intelligence,AI)的先进技术已被广泛应用于实时地处理大量数据,以期实现快速响应.但是,部署基于AI的各种应用程序的常规方法带来了巨大的计算和通信开销.为了解决这一问题,提出了一种基于网络压缩与切割技术的深度模型边云协同加速机制,该技术可以压缩和划分深度神经网络(Deep Neural Networks,DNN)模型,以边云协同的形式在实际应用中实现人工智能模型的快速响应.首先压缩神经网络,以降低神经网络所需要的运行时延,并生成可用作候选分割点的新层,然后训练预测模型以找到最佳分割点,并将压缩的神经网络模型分为两部分.将所获得的两部分分别部署在设备和云端服务器中,这两个部分可以协同地将总延迟降至最低.实验结果表明,与4种基准测试方法相比,本文所提出的方案可以将深度模型的总延迟至少降低70%. 展开更多
关键词 边云协同 深度神经网络压缩 深度神经网络切割
在线阅读 下载PDF
高速铁路周界快速识别算法研究 被引量:4
6
作者 朱力强 许力之 +1 位作者 周鑫 王耀东 《铁道学报》 EI CAS CSCD 北大核心 2022年第12期56-64,共9页
快速获取铁路周界的准确位置是高速铁路周界入侵视频智能分析技术的基础,对于高速铁路安全运营具有重要意义。为了实现各种线路场景的周界自动快速精确识别,提出基于多尺度信息融合的铁路周界识别深度神经网络模型LDNet,该模型不依赖传... 快速获取铁路周界的准确位置是高速铁路周界入侵视频智能分析技术的基础,对于高速铁路安全运营具有重要意义。为了实现各种线路场景的周界自动快速精确识别,提出基于多尺度信息融合的铁路周界识别深度神经网络模型LDNet,该模型不依赖传统目标检测算法所使用的大量预设锚框,直接利用不同尺度特征图上铁轨、护栏的特征点拟合得到精确的周界,计算量少并可适用于各种铁路场景。为进一步提高模型的实时性,提出基于特征相似度的深度神经网络裁剪准则,将网络尺寸从114.29 MB压缩至2.99 MB,压缩后网络精度几乎无损失,但单张图片计算耗时降低61.5%。通过多场景铁路视频图像进行验证,该算法识别精度达到96.37%,明显优于现有的其他算法,并且计算耗时最短。 展开更多
关键词 周界入侵检测 周界识别 视频智能分析 深度神经网络压缩
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部