-
题名二进制张量分解法简化神经网络推理计算
- 1
-
-
作者
郝一帆
杜子东
支天
-
机构
中国科学院计算技术研究所智能处理器研究中心
中国科学院大学
-
出处
《高技术通讯》
CAS
2022年第7期687-695,共9页
-
基金
国家重点研发计划(2017YFB1003101,2018AAA0103300,2017YFA0700900)
国家自然科学基金(61532016,61732007)资助项目。
-
文摘
针对现有的简化神经网络推理计算方法面临模型精度下滑及重训练带来的额外开销问题,本文提出一种在比特级减少乘积累加运算(MAC)的乘加操作数的二进制张量分解法(IBTF)。该方法利用张量分解消除多个卷积核之间由于权值比特位重复导致的计算重复,并保持计算结果不变,即无需重训练。在比特级简化模型计算的IBTF算法与量化、稀疏等数据级简化方法正交,即可以协同使用,从而进一步减少MAC计算量。实验结果表明,在多个主流神经网络中,相较于量化与稀疏后的模型,IBTF进一步使计算量减少了3.32倍,并且IBTF在不同卷积核大小、不同权值位宽及不同稀疏率的卷积运算中都发挥了显著的效果。
-
关键词
神经网络
二进制张量分解(IBTF)
乘积累加运算(MAC)
-
Keywords
neural network
identical binary tensor factorization(IBTF)
multiply-accumulate(MAC)
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名一种基于自适应PoT量化的无乘法神经网络训练方法
- 2
-
-
作者
刘畅
张蕊
支天
-
机构
中国科学院大学
中国科学院计算技术研究所智能处理器研究中心
中国科学院计算技术研究所处理器芯片全国重点实验室
-
出处
《高技术通讯》
CAS
北大核心
2024年第6期567-577,共11页
-
基金
国家重点研发计划(2018AAA0103300)
国家自然科学基金(62102399,U22A2028,U20A20227)
中国科学院稳定支持基础研究领域青年团队计划(YSBR-029)资助项目。
-
文摘
当前的深度神经网络的训练过程中需要包含大量的全精度乘累加(MAC)操作,导致神经网络模型的线性层(包含卷积层和全连接层)的计算过程所需的能耗占整体能耗的绝大部分,达90%以上。本文提出了一种自适应逐层缩放的量化训练方法,可支持在神经网络计算全流程(前向传播和后向传播)将全部线性层中的全精度乘法替换为4位定点数加法计算和1位异或运算。实验结果表明,上述方法在能耗和准确率方面都优于现有方法,可支撑在训练过程中减少达95.8%的线性层能耗,在ImageNet数据集上的卷积神经网络和在WMT En-De任务上的Transformer网络得到小于1%的精度损失。
-
关键词
神经网络
量化
训练加速
低能耗
-
Keywords
neural network
quantization
training acceleration
low energy consumption
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
