-
题名基于粗粒度数据流架构的稀疏卷积神经网络加速
被引量：10
- 1
-
-
作者
吴欣欣
欧焱
李文明
王达
张浩
范东睿
-
机构
计算机体系结构国家重点实验室(中国科学院计算技术研究所)
中国科学院计算技术研究所
中国科学院大学计算机科学与技术学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2021年第7期1504-1517,共14页
-
基金
国家自然科学基金项目(61732018,61872335,61802367,61672499)
中国科学院战略性先导科技专项(C类)(XDC05000000)
+1 种基金
中国科学院国际伙伴计划(171111KYSB20170032)
计算机体系结构国家重点实验室创新项目(CARCH4408,CARCH4412)。
-
文摘
卷积神经网络(convolutional neural network,CNN)在图像处理、语音识别、自然语言处理等领域实现了很好的性能.大规模的神经网络模型通常遭遇计算、存储等资源限制,稀疏神经网络的出现有效地缓解了对计算和存储的需求.尽管现有的领域专用加速器能够有效处理稀疏网络,它们通过算法和结构的紧耦合实现高能效,却丧失了结构的灵活性.粗粒度数据流架构通过灵活的指令调度可以实现不同的神经网络应用.基于该架构,密集卷积规则的计算特性使不同通道共享相同的一套指令执行,然而稀疏网络中存在权值稀疏,使得这些指令中存在0值相关的无效指令,而现有的指令执行方式无法自动跳过它们从而产生无效计算.同时在执行不规则的稀疏网络时,现有的指令映射方法造成了计算阵列的负载不均衡.这些问题阻碍了稀疏网络性能的提升.基于不同通道共享一套指令的前提下,根据稀疏网络的数据和指令特征增加指令控制单元实现权值数据中0值相关指令的检测和跳过,同时使用负载均衡的指令映射算法解决稀疏网络中指令执行不均衡问题.实验表明:与密集网络相比稀疏网络实现了平均1.55倍的性能提升和63.77%的能耗减少.同时比GPU(cuSparse)和Cambricon-X实现的稀疏网络分别快2.39倍(Alexnet)、2.28倍(VGG16)和1.14倍(Alexnet)、1.23倍(VGG16).
-
关键词
领域专用加速器
粗粒度数据流
稀疏卷积神经网络
指令映射
指令控制
-
Keywords
domain-specific accelerator
coarse-grained dataflow
sparse convolutional neural network
instruction mapping
instruction control
-
分类号
TP387
[自动化与计算机技术—计算机系统结构]
-
