-
题名面向BEVFormer的高效训练后平衡量化策略
- 1
-
-
作者
张晓玄
唐小勇
-
机构
长沙理工大学计算机与通信工程学院
-
出处
《计算机科学》
北大核心
2025年第S2期150-156,共7页
-
基金
国家自然科学基金(61972146)。
-
文摘
通过鸟瞰全景视角,BEVFormer在自动驾驶领域展现出卓越的性能。然而,在资源受限的设备上,其高内存占用和计算复杂度为实时部署带来了严峻的挑战。BEVFormer中ReLU激活值的分布从零到正无穷,呈现出不均匀的特点,传统量化指标如余弦相似度和均方误差(MSE)无法充分描述这种特性。针对此问题,提出了一种训练后平衡量化策略,该策略专门针对BEVFormer中的线性层和ReLU激活值的量化进行了优化。在线性层权重和输出的量化中采用预定义量化区间,同时对ReLU激活值使用特定区间量化方法,以确保关键值的精确表示。此外,该方法基于Hessian矩阵优化技术实现缩放因子动态调整,利用Hessian矩阵最小化量化误差,并稳定训练过程。实验结果显示,平衡量化策略显著提升了计算效率,同时保证了精度。在nuScenes测试集中,8位量化仅导致NDS下降不到1个百分点,保持了BEVFormer的性能表现。
-
关键词
BEVFormer
ReLU激活值
线性层权重
平衡量化策略
HESSIAN矩阵
-
Keywords
BEVFormer
ReLU activation
Outputs of the linear layers
Balanced Quantization Strategy
Hessian matrix
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
