期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种量化因子自适应学习量化训练算法
被引量：
2
1
作者
聂慧
李康顺
苏洋
《系统仿真学报》
CAS
CSCD
北大核心
2022年第7期1639-1650,共12页
深度神经网络因参数量过多而影响嵌入式部署,解决的办法之一是模型小型化(如模型量化,知识蒸馏等)。针对这一问题,提出了一种基于BN(batch normg lization)折叠的量化因子自适应学习的量化训练算法(简称为LSQ-BN算法)。采用单个CNN(conv...
深度神经网络因参数量过多而影响嵌入式部署,解决的办法之一是模型小型化(如模型量化,知识蒸馏等)。针对这一问题,提出了一种基于BN(batch normg lization)折叠的量化因子自适应学习的量化训练算法(简称为LSQ-BN算法)。采用单个CNN(convolutional neural)构造BN折叠以实现BN与CNN融合;在量化训练过程中,将量化因子设置成模型参数;提出了一种自适应量化因子初始化方案以解决量化因子难以初始化的问题。实验结果表明:8bit的权重和激活量化,量化模型的精度与FP32预制模型几乎一致;4bit的权重量化和8 bit的激活量化,量化模型的精度损失在3%以内。因此,LSQ-BN是一种优异的模型量化算法。
展开更多
关键词
BN折叠
CNN卷积
自适应初始化
模型量化因子
在线阅读
下载PDF
职称材料
题名
一种量化因子自适应学习量化训练算法
被引量：
2
1
作者
聂慧
李康顺
苏洋
机构
东莞城市学院计算机与信息学院
广东科技学院计算机学院
华南农业大学数学与信息学院
出处
《系统仿真学报》
CAS
CSCD
北大核心
2022年第7期1639-1650,共12页
基金
广东省教育厅重点领域专项(新一代信息技术)(2021ZDX1029)
广东省自然科学基金面上项目(2020A1515010784)
东莞城市学院青年教师发展基金(2021QJY003Z)。
文摘
深度神经网络因参数量过多而影响嵌入式部署,解决的办法之一是模型小型化(如模型量化,知识蒸馏等)。针对这一问题,提出了一种基于BN(batch normg lization)折叠的量化因子自适应学习的量化训练算法(简称为LSQ-BN算法)。采用单个CNN(convolutional neural)构造BN折叠以实现BN与CNN融合;在量化训练过程中,将量化因子设置成模型参数;提出了一种自适应量化因子初始化方案以解决量化因子难以初始化的问题。实验结果表明:8bit的权重和激活量化,量化模型的精度与FP32预制模型几乎一致;4bit的权重量化和8 bit的激活量化,量化模型的精度损失在3%以内。因此,LSQ-BN是一种优异的模型量化算法。
关键词
BN折叠
CNN卷积
自适应初始化
模型量化因子
Keywords
BN folding
CNN convolution
adaptive initialization
model quantization scale-factor
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种量化因子自适应学习量化训练算法
聂慧
李康顺
苏洋
《系统仿真学报》
CAS
CSCD
北大核心
2022
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
