期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到151篇文章
< 1 2 … 8 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
深度神经网络压缩与加速综述 被引量：20
1
作者 曾焕强 胡浩麟 +2 位作者 林向伟 侯军辉 蔡灿辉 《信号处理》 CSCD 北大核心 2022年第1期183-194,共12页
近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要... 近年来,随着图形处理器性能的飞速提升,深度神经网络取得了巨大的发展成就,在许多人工智能任务中屡创佳绩。然而,主流的深度学习网络模型由于存在计算复杂度高、内存占用较大、耗时长等缺陷,难以部署在计算资源受限的移动设备或时延要求严格的应用中。因此,在不显著影响模型精度的前提下,通过对深度神经网络进行压缩和加速来轻量化模型逐渐引起研究者们的重视。本文回顾了近年来的深度神经网络压缩和加速技术。这些技术分为四类:参数量化、模型剪枝、轻量型卷积核设计和知识蒸馏。对于每个技术类别,本文首先分析了各自的性能及存在的缺陷。另外,本文总结了模型压缩与加速的性能评估方法。最后,讨论了模型压缩与加速领域存在的挑战和未来研究的可能方向。 展开更多
关键词 深度神经网络压缩与加速 深度学习 模型剪枝 知识蒸馏 参数量化
在线阅读 下载PDF
深度神经网络压缩与加速综述 被引量：62
2
作者 纪荣嵘 林绍辉 +2 位作者 晁飞 吴永坚 黄飞跃 《计算机研究与发展》 EI CSCD 北大核心 2018年第9期1871-1888,共18页
深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量... 深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望. 展开更多
关键词 深度神经网络压缩 深度神经网络加速 参数剪枝 参数共享 低秩分解 知识蒸馏
在线阅读 下载PDF
融合深度强化学习的卷积神经网络联合压缩方法
3
作者 马祖鑫 崔允贺 +4 位作者 秦永彬 申国伟 郭春 陈意 钱清 《计算机工程与应用》 北大核心 2025年第6期210-219,共10页
随着边缘计算、边缘智能等概念的兴起,卷积神经网络的轻量化部署逐渐成为研究热点。传统的卷积神经网络压缩技术通常分阶段地、独立地执行剪枝与量化策略,但这种方式没有考虑剪枝与量化过程的相互影响,使其无法达到最优的剪枝与量化结果... 随着边缘计算、边缘智能等概念的兴起,卷积神经网络的轻量化部署逐渐成为研究热点。传统的卷积神经网络压缩技术通常分阶段地、独立地执行剪枝与量化策略,但这种方式没有考虑剪枝与量化过程的相互影响,使其无法达到最优的剪枝与量化结果,影响压缩后的模型性能。针对以上问题,提出一种基于深度强化学习的神经网络联合压缩方法——CoTrim。CoTrim同时执行通道剪枝与权值量化,利用深度强化学习算法搜索出全局最优的剪枝与量化策略,以平衡剪枝与量化对网络性能的影响。在CIFAR-10数据集上对VGG和ResNet进行实验,实验表明,对于常见的单分支卷积和残差卷积结构,CoTrim能够在精度损失仅为2.49个百分点的情况下,将VGG16的模型大小压缩至原来的1.41%。在复杂数据集Imagenet-1K上对紧凑网络MobileNet和密集连接网络DenseNet进行实验,实验表明,对于深度可分离卷积结构以及密集连接结构,CoTrim依旧能保证精度损失在可接受范围内将模型压缩为原始大小的1/5~1/8。 展开更多
关键词 卷积神经网络 深度强化学习 模型压缩 通道剪枝 权值量化 边缘智能
在线阅读 下载PDF
MRNDA:一种基于资源受限片上网络的深度神经网络加速器组播机制研究 被引量：1
4
作者 欧阳一鸣 王奇 +2 位作者 汤飞扬 周武 李建华 《电子学报》 EI CAS CSCD 北大核心 2024年第3期872-884,共13页
片上网络(Network-on-Chip,NoC)在多处理器系统中得到了广泛的应用.近年来,有研究提出了基于NoC的深度神经网络(Deep Neural Network,DNN)加速器.基于NoC的DNN加速器设计利用NoC连接神经元计算设备,能够极大地减少加速器对片外存储的访... 片上网络(Network-on-Chip,NoC)在多处理器系统中得到了广泛的应用.近年来,有研究提出了基于NoC的深度神经网络(Deep Neural Network,DNN)加速器.基于NoC的DNN加速器设计利用NoC连接神经元计算设备,能够极大地减少加速器对片外存储的访问从而减少加速器的分类延迟和功耗.但是,若采用传统的单播NoC,大量的一对多数据包会极大的提高加速器的通信延迟.并且,目前的深度神经网络规模往往非常庞大,而NoC的核心数量是有限的.因此,文中提出了一种针对资源受限的NoC的组播方案.该方案利用有限数量的处理单元(Processor Element,PE)来计算大型的DNN,并且利用特殊的树形组播加速网络来减少加速器的通信延迟.仿真结果表明,和基准情况相比,本文提出的组播机制使加速器的分类延迟最高降低了86.7%,通信延迟最高降低了88.8%,而它的路由器面积和功耗仅占基准路由器的9.5%和10.3%. 展开更多
关键词 片上网络 深度神经网络加速器 组播 路由器架构 多物理网络
在线阅读 下载PDF
基于二维卷积神经网络的结构加速度数据异常检测研究
5
作者 麻胜兰 钟建坤 +1 位作者 刘昱昊 郑翔 《建筑科学与工程学报》 北大核心 2025年第1期112-120,共9页
为提高结构加速度数据异常检测的效率和准确率,提出基于二维卷积神经网络(2D-CNN)的结构加速度数据异常检测方法。通过二维桁架数值模型验证了所提方法的有效性,并研究了2D-CNN卷积层数和加速度噪声水平对数据异常检测效果的影响。结果... 为提高结构加速度数据异常检测的效率和准确率,提出基于二维卷积神经网络(2D-CNN)的结构加速度数据异常检测方法。通过二维桁架数值模型验证了所提方法的有效性,并研究了2D-CNN卷积层数和加速度噪声水平对数据异常检测效果的影响。结果表明:提出的结构加速度数据异常检测方法能快速准确区分加速度数据异常类型,异常检测的准确率可达97%以上;对于包含信息复杂、数据规模大的样本,采用4层以上的2D-CNN有助于提高加速度数据异常检测的准确率,采用5层卷积层的2D-CNN对数据异常辨识精度可达98%;当加速度信噪比大于1时,数据异常检测准确率均在90%以上,当加速度信噪比为10时,准确率在97%以上,所提方法具有良好的容噪性和鲁棒性;采用2D-CNN的数据异常检测方法可为传感器网络的有效运行提供技术支持。 展开更多
关键词 结构健康监测 二维卷积神经网络 桁架结构 深度学习 加速度 数据异常检测
在线阅读 下载PDF
动态深度神经网络的硬件加速设计及FPGA实现
6
作者 王鹏 任轶群 +1 位作者 范毓洋 张嘉诚 《电讯技术》 北大核心 2024年第3期358-365,共8页
基于现场可编程门阵列(Field Programmable Gate Array,FPGA)实现的卷积神经网络由于具有优秀的目标识别能力,广泛应用在边缘设备。然而现有的神经网络部署多基于静态模型,因此存在无效特征提取、计算量增大、帧率降低等问题。为此,提... 基于现场可编程门阵列(Field Programmable Gate Array,FPGA)实现的卷积神经网络由于具有优秀的目标识别能力,广泛应用在边缘设备。然而现有的神经网络部署多基于静态模型,因此存在无效特征提取、计算量增大、帧率降低等问题。为此,提出了动态深度神经网络的实现方法。通过引入模型定点压缩技术和并行的卷积分块方法,并结合低延迟的数据调度策略,实现了高效卷积计算。同时对神经网络动态退出机制中引入的交叉熵损失函数,提出便于硬件实现的简化方法,设计专用的加速电路。根据所提方法,在Xilinx xc7z030平台部署了具有动态深度的ResNet110网络,平台最高可完成2.78×104 MOPS(Million Operations per Second)的乘积累加运算,并支持1.25 MOPS的自然指数运算和0.125 MOPS的对数运算,相较于i7-5960x处理器加速比达到287%,相较于NVIDIA TITAN X处理器加速比达到145%。 展开更多
关键词 边缘设备 动态深度神经网络 动态退出机制 硬件加速 加速电路
在线阅读 下载PDF
基于RISC-Ⅴ的深度可分离卷积神经网络加速器 被引量：1
7
作者 曹希彧 陈鑫 魏同权 《计算机学报》 EI CAS CSCD 北大核心 2024年第11期2536-2551,共16页
人工智能时代,RISC-Ⅴ作为一种新兴的开源精简指令集架构,因其低功耗、模块化、开放性和灵活性等优势,使之成为一种能够适应不断发展的深度学习模型和算法的新平台.但是在硬件资源及功耗受限环境下,基础的RISC-Ⅴ处理器架构无法满足卷... 人工智能时代,RISC-Ⅴ作为一种新兴的开源精简指令集架构,因其低功耗、模块化、开放性和灵活性等优势,使之成为一种能够适应不断发展的深度学习模型和算法的新平台.但是在硬件资源及功耗受限环境下,基础的RISC-Ⅴ处理器架构无法满足卷积神经网络对高性能计算的需求.为了解决这一问题,本文设计了一个基于RISC-Ⅴ的轻量化深度可分离卷积神经网络加速器,旨在弥补RISC-Ⅴ处理器的卷积计算能力的不足.该加速器支持深度可分离卷积中的两个关键算子,即深度卷积和点卷积,并能够通过共享硬件结构提高资源利用效率.深度卷积计算流水线采用了高效的Winograd卷积算法,并使用2×2数据块组合拼接成4×4数据片的方式来减少传输数据冗余.同时,通过拓展RISC-Ⅴ处理器端指令,使得加速器能够实现更灵活的配置和调用.实验结果表明,相较于基础的RISC-Ⅴ处理器,调用加速器后的点卷积和深度卷积计算取得了显著的加速效果,其中点卷积加速了104.40倍,深度卷积加速了123.63倍.与此同时,加速器的性能功耗比达到了8.7GOPS/W.本文的RISC-Ⅴ处理器结合加速器为资源受限环境下卷积神经网络的部署提供了一个高效可行的选择. 展开更多
关键词 神经网络 深度可分离卷积 RISC-Ⅴ Winograd快速卷积 硬件加速
在线阅读 下载PDF
神经网络压缩联合优化方法的研究综述 被引量：3
8
作者 宁欣 赵文尧 +4 位作者 宗易昕 张玉贵 陈灏 周琦 马骏骁 《智能系统学报》 CSCD 北大核心 2024年第1期36-57,共22页
随着人工智能应用的实时性、隐私性和安全性需求增大,在边缘计算平台上部署高性能的神经网络成为研究热点。由于常见的边缘计算平台在存储、算力、功耗上均存在限制,因此深度神经网络的端侧部署仍然是一个巨大的挑战。目前,克服上述挑... 随着人工智能应用的实时性、隐私性和安全性需求增大,在边缘计算平台上部署高性能的神经网络成为研究热点。由于常见的边缘计算平台在存储、算力、功耗上均存在限制,因此深度神经网络的端侧部署仍然是一个巨大的挑战。目前,克服上述挑战的一个思路是对现有的神经网络压缩以适配设备部署条件。现阶段常用的模型压缩算法有剪枝、量化、知识蒸馏,多种方法优势互补同时联合压缩可实现更好的压缩加速效果,正成为研究的热点。本文首先对常用的模型压缩算法进行简要概述,然后总结了“知识蒸馏+剪枝”、“知识蒸馏+量化”和“剪枝+量化”3种常见的联合压缩算法,重点分析论述了联合压缩的基本思想和方法,最后提出了神经网络压缩联合优化方法未来的重点发展方向。 展开更多
关键词 神经网络 压缩 剪枝 量化 知识蒸馏 模型压缩 深度学习
在线阅读 下载PDF
KCNN:一种神经网络轻量化方法和硬件实现架构
9
作者 陈桂林 王观武 +2 位作者 王康 胡敏慧 邓俊荃 《计算机研究与发展》 北大核心 2025年第2期532-541,共10页
卷积神经网络(convolutional neural network,CNN)已成为图像识别领域最重要的一项机器学习技术.近年来,随着CNN在边缘端部署的需求越来越多,CNN的轻量化也成为研究热点.主流的CNN轻量化方法包括剪枝和量化,这2项技术都能有效地减少CNN... 卷积神经网络(convolutional neural network,CNN)已成为图像识别领域最重要的一项机器学习技术.近年来,随着CNN在边缘端部署的需求越来越多,CNN的轻量化也成为研究热点.主流的CNN轻量化方法包括剪枝和量化,这2项技术都能有效地减少CNN推导过程中计算和存储开销.然而,这些方法未能完全挖掘CNN中的双边稀疏性(权重稀疏和激活值稀疏)和潜在的数据复用.因此,为了解决上述问题,提出一种全新的神经网络轻量化方法,通过k-means算法对卷积核和特征图的非0值进行聚类,整个神经网络的推导过程中只使用有限的聚类值作为乘数去完成全部卷积计算.与以往卷积层计算复杂度O(n^(3))相比,轻量化处理后的卷积层计算复杂度仅为O(n^(2)),大幅度减少了计算量.同时,将全连接层权重也进行非0值聚类处理,片上只存储聚类值和对应的索引向量,极大地减少存储开销.最后,针对该轻量化方法设计一种硬件实现架构KCNN.该架构将CNN中的不同处理流程模块化实现,与以往的实现架构相比增加一个非0值聚类模块,此外还设计了一些缓存来利用聚类后CNN中的数据复用.实验结果表明在不损失推导精度的情况下,AlexNet网络整体计算量减少66%,存储开销减少85%. 展开更多
关键词 K-MEANS 卷积神经网络 轻量化 加速 压缩
在线阅读 下载PDF
面向轻量卷积神经网络的训练后量化方法
10
作者 杨杰 李琮 +3 位作者 胡庆浩 陈显达 王云鹏 刘晓晶 《图学学报》 北大核心 2025年第4期709-718,共10页
当前训练后量化方法(post-training quantization)在高比特量化位宽下可以实现精度近乎无损的量化,但对于轻量卷积神经网络(CNN)来说,其量化误差仍然不可忽视,特别是低位宽(<4比特)量化的情况。针对该问题,提出了一种面向轻量CNN的... 当前训练后量化方法(post-training quantization)在高比特量化位宽下可以实现精度近乎无损的量化,但对于轻量卷积神经网络(CNN)来说,其量化误差仍然不可忽视,特别是低位宽(<4比特)量化的情况。针对该问题,提出了一种面向轻量CNN的训练后量化方法,即块级批归一化学习(BBL)方法。不同于当前训练后量化方法合并批归一化层的方式,该方法以模型块为单位保留批归一化层的权重,基于块级特征图重建损失对模型量化参数和批归一化层的参数进行学习,且更新批归一化层的均值和方差等统计量,以一种简单且有效的方式缓解了轻量CNN在低比特量化时产生的分布漂移问题。其次,为了降低训练后量化方法对校准数据集的过拟合,构建了块级的数据增强方法,避免不同模型块对同一批校准数据进行学习。并在ImageNet数据集上进行了实验验证,实验结果表明,相比于当前训练后量化算法,BBL方法识别精度最高能提升7.72个百分点,并有效减少轻量CNN在低比特训练后量化时产生的量化误差。 展开更多
关键词 深度神经网络压缩 训练后量化 低比特量化 轻量卷积神经网络 轻量化智能
在线阅读 下载PDF
轻量级深度神经网络模型适配边缘智能研究综述 被引量：9
11
作者 徐小华 周长兵 +2 位作者 胡忠旭 林仕勋 喻振杰 《计算机科学》 CSCD 北大核心 2024年第7期257-271,共15页
随着物联网和人工智能的迅猛发展,边缘计算和人工智能的结合催生了边缘智能这一新的研究领域。边缘智能具备一定的计算能力,能够提供实时、高效和智能的响应。它在智能城市、工业物联网、智能医疗、自动驾驶以及智能家居等领域都具有重... 随着物联网和人工智能的迅猛发展,边缘计算和人工智能的结合催生了边缘智能这一新的研究领域。边缘智能具备一定的计算能力,能够提供实时、高效和智能的响应。它在智能城市、工业物联网、智能医疗、自动驾驶以及智能家居等领域都具有重要的应用。为了提升模型的准确度,深度神经网络往往采用更深、更大的架构,导致了模型参数的显著增加、存储需求的上升和计算量的增大。受限于物联网边缘设备在计算能力、存储空间和能源资源方面的局限,深度神经网络难以被直接部署到这些设备上。因此,低内存、低计算资源、高准确度且能实时推理的轻量级深度神经网络成为了研究热点。文中首先回顾边缘智能的发展历程,并分析轻量级深度神经网络适应边缘智能的现实需求,提出了两种构建轻量级深度神经网络模型的方法:深度模型压缩技术和轻量化架构设计。接着详细讨论了参数剪枝、参数量化、低秩分解、知识蒸馏以及混合压缩5种主要的深度模型压缩技术,归纳它们各自的性能优势与局限,并评估它们在常用数据集上的压缩效果。之后深入分析轻量化架构设计中的调整卷积核大小、降低输入通道数、分解卷积操作和调整卷积宽度的策略,并比较了几种常用的轻量化网络模型。最后,展望轻量级深度神经网络在边缘智能领域的未来研究方向。 展开更多
关键词 边缘智能 深度神经网络 轻量级神经网络 模型压缩 轻量化架构设计
在线阅读 下载PDF
轻量化深度卷积神经网络设计研究进展 被引量：5
12
作者 周志飞 李华 +3 位作者 冯毅雄 陆见光 钱松荣 李少波 《计算机工程与应用》 CSCD 北大核心 2024年第22期1-17,共17页
轻量化设计是解决深度卷积神经网络(deep convolutional neural network,DCNN)对设备性能和硬件资源依赖性的流行范式,轻量化的目的是在不牺牲网络性能的前提下,提高计算速度和减少内存占用。综述了DCNN的轻量化设计方法,着重回顾了近年... 轻量化设计是解决深度卷积神经网络(deep convolutional neural network,DCNN)对设备性能和硬件资源依赖性的流行范式,轻量化的目的是在不牺牲网络性能的前提下,提高计算速度和减少内存占用。综述了DCNN的轻量化设计方法,着重回顾了近年来DCNN的研究进展,包括体系设计和模型压缩两大轻量化策略,深入比较了这两类方法的创新性、优势与局限性,并探讨了支撑轻量化模型的底层框架。此外,对轻量化网络已经成功应用的场景进行了描述,并对DCNN轻量化的未来发展趋势进行了预测,旨在为深度卷积神经网络的轻量化研究提供有益的见解和参考。 展开更多
关键词 深度卷积神经网络 轻量化 体系设计 模型压缩
在线阅读 下载PDF
深度神经网络动态分层梯度稀疏化及梯度合并优化方法 被引量：1
13
作者 巨涛 康贺廷 +1 位作者 刘帅 火久元 《西安交通大学学报》 EI CAS CSCD 北大核心 2024年第9期105-116,共12页
针对数据并行方法加速大规模深度神经网络时易出现的通信开销大、训练耗时长、资源利用率不高的问题,提出了一种深度神经网络动态分层梯度稀疏化及梯度合并优化方法。首先,将梯度稀疏化压缩与流水线并行技术相结合,提出动态分层梯度稀... 针对数据并行方法加速大规模深度神经网络时易出现的通信开销大、训练耗时长、资源利用率不高的问题,提出了一种深度神经网络动态分层梯度稀疏化及梯度合并优化方法。首先,将梯度稀疏化压缩与流水线并行技术相结合,提出动态分层梯度稀疏优化方法,为每层神经网络匹配一个合适的阈值,通过在后续迭代时动态调整该阈值,实现对每层网络传输梯度的自适应压缩。然后,提出了层梯度合并方法,利用动态规划算法对层梯度合并时的通信开销、稀疏化及层梯度计算时间进行权衡优化,求解出最佳的层梯度合并组合,并将多层小尺度梯度张量合并为一层通信,以降低分层梯度决策时引入的过高通信延迟开销。最后,将求解出的最佳层梯度合并组合应用于具体的训练迭代过程。实验结果表明:与已有方法相比,所提方法可在保证模型训练精度的同时大大降低通信开销,提升模型的训练速度;与未压缩方法相比,训练速度最大可提升1.99倍。 展开更多
关键词 深度神经网络 分布式训练 同步数据并行 梯度压缩 层梯度合并
在线阅读 下载PDF
面向深度神经网络加速芯片的高效硬件优化策略 被引量：7
14
作者 张萌 张经纬 +2 位作者 李国庆 吴瑞霞 曾晓洋 《电子与信息学报》 EI CSCD 北大核心 2021年第6期1510-1517,共8页
轻量级神经网络部署在低功耗平台上的解决方案可有效用于无人机(UAV)检测、自动驾驶等人工智能(AI)、物联网(IOT)领域,但在资源有限情况下,同时兼顾高精度和低延时来构建深度神经网络(DNN)加速器是非常有挑战性的。该文针对此问题提出... 轻量级神经网络部署在低功耗平台上的解决方案可有效用于无人机(UAV)检测、自动驾驶等人工智能(AI)、物联网(IOT)领域,但在资源有限情况下,同时兼顾高精度和低延时来构建深度神经网络(DNN)加速器是非常有挑战性的。该文针对此问题提出一系列高效的硬件优化策略,包括构建可堆叠共享计算引擎(PE)以平衡不同卷积中数据重用和内存访问模式的不一致;提出了可调的循环次数和通道增强方法,有效扩展加速器与外部存储器之间的访问带宽,提高DNN浅层网络计算效率;优化了预加载工作流,从整体上提高了异构系统的并行度。经Xilinx Ultra96 V2板卡验证,该文的硬件优化策略有效地改进了iSmart3-SkyNet和SkrSkr-SkyNet类的DNN加速芯片设计。结果显示,优化后的加速器每秒处理78.576帧图像,每幅图像的功耗为0.068 J。 展开更多
关键词 深度神经网络 目标检测 神经网络加速器 低功耗 硬件优化
在线阅读 下载PDF
面向嵌入式应用的深度神经网络模型压缩技术综述 被引量：5
15
作者 王磊 赵英海 +1 位作者 杨国顺 王若琪 《北京交通大学学报》 CAS CSCD 北大核心 2017年第6期34-41,共8页
结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和... 结合大数据的获取,深度神经网络关键技术广泛应用于图像分类、物体检测、语音识别和自然语言处理等领域.随着深度神经网络模型性能不断提升,模型体积和计算需求提高,以致其依赖高功耗的计算平台.为解决在实时嵌入式系统中的存储资源和内存访问带宽的限制,以及计算资源相对不足的问题,开展嵌入式应用的深度神经网络模型压缩技术研究,以便缩减模型体积和对存储空间的需求,优化模型计算过程.对模型压缩技术进行分类概述,包括模型裁剪、精细化模型设计、模型张量分解和近似计算和模型量化等,并对发展状况进行总结.为深度神经网络模型压缩技术的研究提供参考. 展开更多
关键词 深度神经网络 模型压缩 模型裁剪 张量分解 嵌入式系统
在线阅读 下载PDF
改进聚类的深度神经网络压缩实现方法 被引量：3
16
作者 刘涵 王宇 马琰 《控制理论与应用》 EI CAS CSCD 北大核心 2019年第7期1130-1136,共7页
深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K-Means+... 深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K-Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet、AlexNet和VGG-16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能. 展开更多
关键词 深度神经网络 剪枝 K Means++聚类 深度网络压缩
在线阅读 下载PDF
基于混合机制的深度神经网络压缩算法 被引量：4
17
作者 赵旭剑 李杭霖 《计算机应用》 CSCD 北大核心 2023年第9期2686-2691,共6页
近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模... 近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题,深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能,从而挖掘DNN压缩算法的影响要素;然后,设计学生网络和教师网络组成的知识迁移结构,融合知识蒸馏、结构设计、网络剪枝和参数量化机制,提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark,进行实验比较与分析。实验结果表明,所提算法在压缩结果的准确率降低6.3%的情况下,使压缩后的AlexNet的容量减小98.5%,验证了所提算法的有效性。 展开更多
关键词 深度神经网络 网络压缩 网络剪枝 知识蒸馏 参数量化
在线阅读 下载PDF
基于卷积神经网络的荷载大小与位置同步识别 被引量：1
18
作者 翁顺 郭街震 +3 位作者 于虹 陈志丹 颜永逸 赵丹阳 《东南大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第1期110-116,共7页
结构健康监测和状态评估中现有大多数研究均需要精确的荷载作用位置或详细的荷载时程,为了同时获得荷载大小和位置,构建并训练了同时具备分类和回归能力的两分支卷积神经网络,建立了融合分类问题和回归问题的损失函数,提取结构响应与荷... 结构健康监测和状态评估中现有大多数研究均需要精确的荷载作用位置或详细的荷载时程,为了同时获得荷载大小和位置,构建并训练了同时具备分类和回归能力的两分支卷积神经网络,建立了融合分类问题和回归问题的损失函数,提取结构响应与荷载大小、结构响应与荷载位置间的映射关系.通过数值简支梁算例和三层试验框架验证了该方法识别结构荷载大小和位置的精度.结果表明:噪声条件下数值模型的荷载识别误差在8%以内,荷载位置识别准确率在95%以上;实际结构的荷载识别误差在18%以内,荷载位置识别准确率为100%.两分支卷积神经网络可以很好地同时识别荷载大小和位置. 展开更多
关键词 荷载识别 加速度响应 深度学习 卷积神经网络
在线阅读 下载PDF
深度神经网络压缩综述 被引量：10
19
作者 李青华 李翠平 +2 位作者 张静 陈红 王绍卿 《计算机科学》 CSCD 北大核心 2019年第9期1-14,共14页
近年来深度神经网络在目标识别、图像分类等领域取得了重大突破,然而训练和测试这些大型深度神经网络存在几点限制:1)训练和测试这些深度神经网络需要进行大量的计算(训练和测试将消耗大量的时间),需要高性能的计算设备(例如GPU)来加快... 近年来深度神经网络在目标识别、图像分类等领域取得了重大突破,然而训练和测试这些大型深度神经网络存在几点限制:1)训练和测试这些深度神经网络需要进行大量的计算(训练和测试将消耗大量的时间),需要高性能的计算设备(例如GPU)来加快训练和测试速度;2)深度神经网络模型通常包含大量的参数,需要大容量的高速内存来存储模型。上述限制阻碍了神经网络等技术的广泛应用(现阶段神经网络的训练和测试通常是在高性能服务器或者集群下面运行,在一些对实时性要求较高的移动设备(如手机)上的应用受到限制)。文中对近年来的压缩神经网络算法进行了综述,系统地介绍了深度神经网络压缩的主要方法,如裁剪方法、稀疏正则化方法、分解方法、共享参数方法、掩码加速方法、离散余弦变换方法,最后对未来深度神经网络压缩的研究方向进行了展望。 展开更多
关键词 深度学习 神经网络 模型压缩
在线阅读 下载PDF
一种基于动态量化编码的深度神经网络压缩方法 被引量：8
20
作者 饶川 陈靓影 +1 位作者 徐如意 刘乐元 《自动化学报》 EI CSCD 北大核心 2019年第10期1960-1968,共9页
近年来深度神经网络(Deep neural network,DNN)从众多机器学习方法中脱颖而出,引起了广泛的兴趣和关注.然而,在主流的深度神经网络模型中,其参数数以百万计,需要消耗大量的计算和存储资源,难以应用于手机等移动嵌入式设备.为了解决这一... 近年来深度神经网络(Deep neural network,DNN)从众多机器学习方法中脱颖而出,引起了广泛的兴趣和关注.然而,在主流的深度神经网络模型中,其参数数以百万计,需要消耗大量的计算和存储资源,难以应用于手机等移动嵌入式设备.为了解决这一问题,本文提出了一种基于动态量化编码(Dynamic quantization coding,DQC)的深度神经网络压缩方法.不同于现有的采用静态量化编码(Static quantitative coding,SQC)的方法,本文提出的方法在模型训练过程中同时对量化码本进行更新,使码本尽可能减小较大权重参数量化引起的误差.通过大量的对比实验表明,本文提出的方法优于现有基于静态编码的模型压缩方法. 展开更多
关键词 深度神经网络 模型压缩 动态量化编码 码本更新
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 … 8 下一页 到第 页
关于我们 | 版权声明 | 联系我们 | 帮助中心| 意见反馈
主办单位：上海市教育委员会
技术支持：重庆维普资讯有限公司
渝公网安备 50019002500403号
使用帮助 返回顶部