期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式:
文摘
详细
列表
相关度排序
被引量排序
时效性排序
探索非零位置约束:算法-硬件协同设计的DNN稀疏训练方法
1
作者
王淼
张盛兵
张萌
《西北工业大学学报》
北大核心
2025年第1期119-127,共9页
设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用...
设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用于实时地识别和分配零的位置以及对不规则计算的负载均衡,这使得现有稀疏训练工作难以接近理想加速比。如果能提前预知训练过程中操作数的非零位置约束规则,就可以跳过这些处理开销,从而提升稀疏训练性能和能效比。针对稀疏训练过程,面向边缘场景中典型的3类激活函数探索操作数之间的位置约束规则,提出:①一个硬件友好的稀疏训练算法以减少3个阶段的计算量和存储压力;②一个高能效的稀疏训练加速器,能预估非零位置使得实时处理代价被并行执行掩盖。实验表明所提出的方法比密集加速器和2个其他稀疏训练工作的能效比分别提升了2.2倍,1.38倍和1.46倍。
展开更多
关键词
稀疏训练
非零位置约束
DNN
稀疏加速器
在线阅读
下载PDF
职称材料
题名
探索非零位置约束:算法-硬件协同设计的DNN稀疏训练方法
1
作者
王淼
张盛兵
张萌
机构
西北工业大学计算机学院
出处
《西北工业大学学报》
北大核心
2025年第1期119-127,共9页
文摘
设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用于实时地识别和分配零的位置以及对不规则计算的负载均衡,这使得现有稀疏训练工作难以接近理想加速比。如果能提前预知训练过程中操作数的非零位置约束规则,就可以跳过这些处理开销,从而提升稀疏训练性能和能效比。针对稀疏训练过程,面向边缘场景中典型的3类激活函数探索操作数之间的位置约束规则,提出:①一个硬件友好的稀疏训练算法以减少3个阶段的计算量和存储压力;②一个高能效的稀疏训练加速器,能预估非零位置使得实时处理代价被并行执行掩盖。实验表明所提出的方法比密集加速器和2个其他稀疏训练工作的能效比分别提升了2.2倍,1.38倍和1.46倍。
关键词
稀疏训练
非零位置约束
DNN
稀疏加速器
Keywords
sparse training
non-zero position constraint
DNN
sparse accelerator
分类号
TP391.4 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
探索非零位置约束:算法-硬件协同设计的DNN稀疏训练方法
王淼
张盛兵
张萌
《西北工业大学学报》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部