-
题名云边协同大模型块粒度重训方法
- 1
-
-
作者
张青龙
韩锐
刘驰
-
机构
北京理工大学计算机学院
-
出处
《电子学报》
北大核心
2025年第2期287-300,共14页
-
基金
国家重点研发计划(No.2023YFE0209100)
国家自然科学基金(No.62272046,No.62132019,No.61872337)。
-
文摘
边缘侧大模型外部环境的不确定性(如路边摄像头画面中天气、光照、物体密度的变化),导致其输入数据分布持续改变,因此需进行重训以维持高精度.受限于设备可用资源和重训窗口,现有技术仅能训练固定压缩模型,其有限的泛化能力导致模型精度显著降低.本文提出云边协同大模型块粒度重训方法,引入模型重训缩放定律评估不同块对边缘侧当前数据的精度贡献,以此为依据生成有限资源下最优重训方案,将云平台大模型中精度最相关部分动态转换为边缘侧可重训小模型,构建大小模型协同训练系统.真实云边平台上对比实验表明,本文方法可以在相同资源消耗下提升大模型重训精度81.24%,并支持最大至330亿参数大模型重训.
-
关键词
大模型
边缘侧动态环境
模型重训
缩放定律
云边大小模型协同训练
-
Keywords
foundation model
dynamic environment at edge
model retraining
scaling law
edge-cloud collaborative retraining of large and small models
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于数据驱动的云边智能协同综述
被引量：11
- 2
-
-
作者
田鹏新
司冠南
安兆亮
李建辛
周风余
-
机构
山东交通学院信息科学与电气工程学院
山东大学控制科学与工程学院
-
出处
《计算机应用》
CSCD
北大核心
2023年第10期3162-3169,共8页
-
基金
山东省自然科学基金资助项目(ZR2019MF064)。
-
文摘
随着物联网(IoT)的快速发展,大量在传感器等边缘场景产生的数据需要传输至云节点处理,这带来了极大的传输成本和处理时延,而云边协同为这些问题提供了有效的解决方案。首先,在全面调查和分析云边协同发展过程的基础上,结合当前云边智能协同中的研究思路与进展,重点分析和讨论了云边架构中的数据采集与分析、计算迁移技术以及基于模型的智能优化技术;其次,分别从边缘端和云端深入分析了各种技术在云边智能协同中的作用及应用,并探讨了云边智能协同技术在现实中的应用场景;最后,指出了云边智能协同目前存在的挑战及未来的发展方向。
-
关键词
云边协同
人工智能
计算迁移
模型训练与推理
数据驱动
-
Keywords
cloud-edge collaboration
Artificial Intelligence(AI)
computation offloading
model training and inference
data-driven
-
分类号
TP399
[自动化与计算机技术—计算机应用技术]
-
