-
题名云边协同大模型块粒度重训方法
- 1
-
-
作者
张青龙
韩锐
刘驰
-
机构
北京理工大学计算机学院
-
出处
《电子学报》
北大核心
2025年第2期287-300,共14页
-
基金
国家重点研发计划(No.2023YFE0209100)
国家自然科学基金(No.62272046,No.62132019,No.61872337)。
-
文摘
边缘侧大模型外部环境的不确定性(如路边摄像头画面中天气、光照、物体密度的变化),导致其输入数据分布持续改变,因此需进行重训以维持高精度.受限于设备可用资源和重训窗口,现有技术仅能训练固定压缩模型,其有限的泛化能力导致模型精度显著降低.本文提出云边协同大模型块粒度重训方法,引入模型重训缩放定律评估不同块对边缘侧当前数据的精度贡献,以此为依据生成有限资源下最优重训方案,将云平台大模型中精度最相关部分动态转换为边缘侧可重训小模型,构建大小模型协同训练系统.真实云边平台上对比实验表明,本文方法可以在相同资源消耗下提升大模型重训精度81.24%,并支持最大至330亿参数大模型重训.
-
关键词
大模型
边缘侧动态环境
模型重训
缩放定律
云边大小模型协同训练
-
Keywords
foundation model
dynamic environment at edge
model retraining
scaling law
edge-cloud collaborative retraining of large and small models
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
