期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
探索非零位置约束:算法-硬件协同设计的DNN稀疏训练方法
1
作者 王淼 张盛兵 张萌 《西北工业大学学报》 北大核心 2025年第1期119-127,共9页
设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用... 设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用于实时地识别和分配零的位置以及对不规则计算的负载均衡,这使得现有稀疏训练工作难以接近理想加速比。如果能提前预知训练过程中操作数的非零位置约束规则,就可以跳过这些处理开销,从而提升稀疏训练性能和能效比。针对稀疏训练过程,面向边缘场景中典型的3类激活函数探索操作数之间的位置约束规则,提出:①一个硬件友好的稀疏训练算法以减少3个阶段的计算量和存储压力;②一个高能效的稀疏训练加速器,能预估非零位置使得实时处理代价被并行执行掩盖。实验表明所提出的方法比密集加速器和2个其他稀疏训练工作的能效比分别提升了2.2倍,1.38倍和1.46倍。 展开更多
关键词 稀疏训练 非零位置约束 DNN 稀疏加速器
在线阅读 下载PDF
稀疏训练指纹库融合MMPSO-ELM室内可见光定位 被引量:1
2
作者 张慧颖 梁誉 +2 位作者 卢宇希 王凯 于海越 《激光技术》 CAS CSCD 北大核心 2022年第6期788-795,共8页
为了解决采用极限学习机(ELM)神经网络室内可见光定位方法存在误差较大、网络模型训练时间较长、结果稳定性较差等缺点,采用稀疏训练指纹库,融合多目标动量粒子群算法(MMPSO),结合ELM室内可见光定位方法,形成MMPSO-ELM方案,引入动量因子... 为了解决采用极限学习机(ELM)神经网络室内可见光定位方法存在误差较大、网络模型训练时间较长、结果稳定性较差等缺点,采用稀疏训练指纹库,融合多目标动量粒子群算法(MMPSO),结合ELM室内可见光定位方法,形成MMPSO-ELM方案,引入动量因子,避免迭代过程中过度振荡,加快系统收敛速度。在不同的定位空间内随机选取训练数据集方式,在测试点数量不同的情况下,将本方案与后向传播(BP)、ELM以及PSO-ELM 3种定位算法进行了比较。结果表明,MMPSO-ELM方案在20组训练数据条件下,对80组待定位点进行预测定位,定位误差最大为0.0225m,最小误差为0.00093m,平均定位误差低至0.00143m,且定位性能受定位空间大小影响较小;MMPSO-ELM可见光定位方案具有定位精度高、速度快、泛化性强等优点。该研究为在室内场所实现快速准确定位提供了理论支撑。 展开更多
关键词 光通信 极限学习机 粒子群算法 稀疏训练指纹库 动量因子 可见光定位
在线阅读 下载PDF
基于迭代稀疏训练的轻量化无人机目标检测算法 被引量:7
3
作者 侯鑫 曲国远 +1 位作者 魏大洲 张佳程 《计算机研究与发展》 EI CSCD 北大核心 2022年第4期882-893,共12页
随着无人机技术的成熟,配备摄像头的无人机被广泛应用于各个领域,自动高效地分析和理解从无人机收集的视觉数据非常重要.基于深度卷积神经网络的目标检测算法在许多实际应用上取得了惊人的成绩,但往往伴随着巨大的资源消耗和内存占用.因... 随着无人机技术的成熟,配备摄像头的无人机被广泛应用于各个领域,自动高效地分析和理解从无人机收集的视觉数据非常重要.基于深度卷积神经网络的目标检测算法在许多实际应用上取得了惊人的成绩,但往往伴随着巨大的资源消耗和内存占用.因此,对于无人机上携带的计算能力受限的嵌入式设备来说,直接运行深度卷积神经网络非常具有挑战性.为了应对这些挑战,以经典的目标检测方法YOLOv3(you only look once)为例,基于迭代稀疏训练的剪枝方式可以实现有效的模型压缩,同时通过组合不同数据增强方式与相关优化手段保证压缩前后检测器精度误差在可接受范围内.实验结果证明,基于迭代稀疏训练的剪枝方法在YOLOv3上取得了非常可观的压缩效果,并且将精度误差控制在了2%以内,为无人机目标检测实时应用提供了支持. 展开更多
关键词 YOLOv3算法 模型压缩 迭代稀疏训练 数据增强 精度误差小
在线阅读 下载PDF
一种混合阈值剪枝的稀疏化训练图像识别算法 被引量:4
4
作者 宋叶帆 王国书 盛步云 《科学技术与工程》 北大核心 2021年第2期638-643,共6页
卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度。针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型。通过对缩放因子L... 卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度。针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型。通过对缩放因子L1正则化,使重要性低的通道值接近0,进行稀疏化训练,再引入全局阈值和局部阈值剪枝掉接近于零的通道并防止模型向粗粒度方向压缩,并对其进行训练微调参数,得到了混合阈值剪枝的精简模型。最后为了验证本文方法有效性,在DOTA(a large-scale dataset for object detection in aerial images)数据集中进行测试,该算法在小幅度降低图像识别精度的前提下,成功地压缩模型90%大小,加快了53%的计算速度,取得了较好的效果。 展开更多
关键词 卷积神经网络 剪枝算法 图像识别 稀疏训练 阈值 正则化 模型压缩
在线阅读 下载PDF
面向资源异构的通信高效去中心化联邦学习
5
作者 潘沭伽 陈思光 《系统工程与电子技术》 北大核心 2025年第4期1374-1383,共10页
为缓解去中心化联邦学习中不同终端节点数据异构带来的负面影响,在提升系统异步兼容性的同时降低整体通信开销,提出一种基于掩码位置图的去中心化联邦学习算法。具体地,设计一种不对称的掩码更新方案。通过逐渐提升稀疏度,将掩码范数与... 为缓解去中心化联邦学习中不同终端节点数据异构带来的负面影响,在提升系统异步兼容性的同时降低整体通信开销,提出一种基于掩码位置图的去中心化联邦学习算法。具体地,设计一种不对称的掩码更新方案。通过逐渐提升稀疏度,将掩码范数与训练程度绑定,同时使用可信任的稀疏联邦聚合,在有效利用稀疏梯度的同时保障系统的安全性。其次,设计动态掩码社区分割算法,将梯度掩码与社区分割结合,可有效利用全网梯度之间的相似性,主动选择相似聚合目标,提升模型性能。进一步,在网络结构上将模型层与掩码层分离,可降低算力异构对系统可拓展性的影响。最后,设计一种单线程、可同时模拟数据异构、算力异构与终端节点异步的实验方案。实验结果表明,与现有相关方法相比,所提算法在两种数据集与严苛异步条件设置下均可维持高准确率,并且将通信开销降低了14%~21%。 展开更多
关键词 边缘计算 联邦学习 去中心化系统 稀疏训练
在线阅读 下载PDF
基于注意力机制的稀疏化剪枝方法 被引量:2
6
作者 叶汉民 李志波 +1 位作者 程小辉 陶小梅 《计算机工程与设计》 北大核心 2023年第12期3642-3648,共7页
为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度... 为在资源受限设备中部署先进神经网络模型,提出一种基于通道和空间注意力机制的网络稀疏化剪枝训练方法,将剪枝训练过程转化为约束优化问题。将通道和空间注意力融入稀疏化剪枝训练过程,利用连续空间损失变化情况评估不同网络层重要程度,通过稀疏化训练与动态计算及更新掩码矩阵和权重矩阵完成剪枝操作。方法实验基于CIFAR10、CIFAR100数据集上进行,实验结果表明,该方法在较为复杂数据集CIFAR100上剪枝率为90%、95%、98%时,分类准确率可达到69.91%、67.15%、60.18%,与同类方法相比,在不同数据集和剪枝率的条件下仍具有较高的分类精度。 展开更多
关键词 资源受限设备 深度神经网络 模型压缩 注意力机制 稀疏训练 网络剪枝 掩码
在线阅读 下载PDF
基于KAN的舰载高功率微波武器目标威胁评估 被引量:1
7
作者 徐洪浩 曹巍 +1 位作者 章业超 陈志华 《兵工学报》 EI CAS CSCD 北大核心 2024年第S02期47-54,共8页
随着无人机等现代化电子设备在战场上的广泛应用,高功率微波(High Power Microwave,HPM)武器在未来海上防空作战中展现出巨大的潜力。HPM武器与常规舰载防空武器协同防空时的威胁评估成为亟待解决的核心问题,建立基于KAN(Kolmogorov-Arn... 随着无人机等现代化电子设备在战场上的广泛应用,高功率微波(High Power Microwave,HPM)武器在未来海上防空作战中展现出巨大的潜力。HPM武器与常规舰载防空武器协同防空时的威胁评估成为亟待解决的核心问题,建立基于KAN(Kolmogorov-Arnold Network)的威胁评估模型,通过量化6项核心因素对来袭目标的威胁程度进行评估。仿真实验表明:KAN模型的威胁评估误差保持在0.036以下,平均误差为0.0142,优于传统的BP(Back Propagation)网络模型和FABP(Firefly Algorithm Optimized Back Propagation)网络模型。加入HPM武器后,对相应量化指标进行调整,运用KAN模型预测加入HPM武器后的目标威胁值,目标威胁值平均下降了0.0714。HPM武器的使用显著增强了舰艇的防空能力,为未来防空系统的设计提供了重要指导。 展开更多
关键词 高功率微波武器 威胁评估 Kolmogorov-Arnold网络 残差激活函数 稀疏训练
在线阅读 下载PDF
一种基于压缩感知的图像去马赛克算法 被引量:2
8
作者 康彬 朱卫平 《南京邮电大学学报(自然科学版)》 北大核心 2014年第4期39-43,共5页
文中提出了一种基于分块压缩感知的图像去马赛克算法。该算法首先将Bayer色彩滤镜阵列采样值等效为压缩感知理论中感知矩阵采样所得的压缩数据。其次通过结合Bayer色彩滤镜阵列自身特点训练分块稀疏字典。最后在训练所得稀疏字典的基础... 文中提出了一种基于分块压缩感知的图像去马赛克算法。该算法首先将Bayer色彩滤镜阵列采样值等效为压缩感知理论中感知矩阵采样所得的压缩数据。其次通过结合Bayer色彩滤镜阵列自身特点训练分块稀疏字典。最后在训练所得稀疏字典的基础上利用分块压缩感知重构算法便可精确重构出Bayer色彩滤镜阵列采样结果。由于训练所得稀疏字典能有效降低与Bayer色彩滤镜采样阵列之间的相关性,因此文中所提出的图像去马赛克算法能有效对单一Bayer色彩滤镜阵列采样值进行重构。通过实验验证表明:新的图像去马赛克算法明显优于传统插值算法,重构所得彩色图像在去除假色影响的同时能完整保留原始图像的细节信息。 展开更多
关键词 压缩感知 去马赛克算法 稀疏训练字典 Bayer色彩滤镜阵列
在线阅读 下载PDF
基于ARM平台目标检测的轻量化方法 被引量:1
9
作者 张雷 童虎庆 +1 位作者 谢锦昌 杨昆 《电子测量技术》 北大核心 2023年第12期118-124,共7页
为了解决基于深度学习的目标检测算法庞大的计算量和内存占用,导致在ARM平台的边端设备上部署难度大的问题。本文提出一种基于ARM平台目标检测的轻量化方法,首次将网络中的批标准化层缩放因子和卷积层卷积核参数同时添加约束,稀疏训练... 为了解决基于深度学习的目标检测算法庞大的计算量和内存占用,导致在ARM平台的边端设备上部署难度大的问题。本文提出一种基于ARM平台目标检测的轻量化方法,首次将网络中的批标准化层缩放因子和卷积层卷积核参数同时添加约束,稀疏训练后将其作为通道重要性判断的两个准则,将不重要的通道双准则剪枝;针对剪枝效果较差的层结合CBAM注意力设计轻量化结构替换;再对结构替换后的模型重新训练得到最终模型。在单目标检测和多目标检测场景,分别对改进的YOLOv5n和YOLOv5s实验,结果表明该方法在ARM设备上均优于常规轻量化方法。在人物检测场景中,对YOLOv5n优化后的模型大小仅有0.68 MB,在ARM设备上单核CPU部署时检测速度达到45 fps,完全满足实时性要求,大幅度降低边端设备部署难度和硬件成本。 展开更多
关键词 ARM平台 目标检测 YOLOv5 稀疏训练 轻量化结构 算法部署
在线阅读 下载PDF
基于可融合残差卷积块的深度神经网络模型层剪枝方法 被引量:2
10
作者 徐鹏涛 曹健 +3 位作者 孙文宇 李普 王源 张兴 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2022年第5期801-807,共7页
针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼... 针对当前主流的剪枝方法所获得的压缩模型推理时间较长和效果较差的问题,提出一种易用且性能优异的层剪枝方法。该方法将原始卷积层转化为可融合残差卷积块,然后通过稀疏化训练的方法实现层剪枝,得到一种具有工程易用性的层剪枝方法,兼具推理时间短和剪枝效果好的优点。实验结果表明,在图像分类任务和目标检测任务中,该方法可使模型在精度损失较小的情况下获得极高的压缩率,优于先进的卷积核剪枝方法。 展开更多
关键词 卷积神经网络 层剪枝 可融合残差卷积块 稀疏训练 图像分类
在线阅读 下载PDF
基于自适应剪枝率与高效权重继承的神经网络通道剪枝方法 被引量:1
11
作者 刘相呈 曹健 +3 位作者 姚宏毅 徐鹏涛 张袁 王源 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2023年第5期764-772,共9页
目前的通道级剪枝方法往往需要复杂的搜索和微调过程,并且容易陷入局部最优解,针对此问题,提出一种新颖的通道剪枝框架(AdaPruner),只需通过一次稀疏训练,就可以针对各种预算复杂度,自适应地生成相应的子网络,并高效地选择适合当前结构... 目前的通道级剪枝方法往往需要复杂的搜索和微调过程,并且容易陷入局部最优解,针对此问题,提出一种新颖的通道剪枝框架(AdaPruner),只需通过一次稀疏训练,就可以针对各种预算复杂度,自适应地生成相应的子网络,并高效地选择适合当前结构的初始化权重。在图像分类任务的多个数据集上实验结果表明,该方法在常用的残差网络和轻量级网络上的性能都优于以往剪枝方法。 展开更多
关键词 卷积神经网络 通道剪枝 稀疏训练 神经网络结构搜索 图像分类
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部