期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
探索非零位置约束:算法-硬件协同设计的DNN稀疏训练方法
1
作者 王淼 张盛兵 张萌 《西北工业大学学报》 北大核心 2025年第1期119-127,共9页
设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用... 设备上的学习使得边缘设备能连续适应人工智能应用的新数据。利用稀疏性消除训练过程中的冗余计算和存储占用是提高边缘深度神经网络(deep neural network,DNN)学习效率的关键途径。然而由于缺乏对非零位置的假设,往往需要昂贵的代价用于实时地识别和分配零的位置以及对不规则计算的负载均衡,这使得现有稀疏训练工作难以接近理想加速比。如果能提前预知训练过程中操作数的非零位置约束规则,就可以跳过这些处理开销,从而提升稀疏训练性能和能效比。针对稀疏训练过程,面向边缘场景中典型的3类激活函数探索操作数之间的位置约束规则,提出:①一个硬件友好的稀疏训练算法以减少3个阶段的计算量和存储压力;②一个高能效的稀疏训练加速器,能预估非零位置使得实时处理代价被并行执行掩盖。实验表明所提出的方法比密集加速器和2个其他稀疏训练工作的能效比分别提升了2.2倍,1.38倍和1.46倍。 展开更多
关键词 稀疏训练 非零位置约束 DNN 稀疏加速器
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部