-
题名云边协同大模型块粒度重训方法
- 1
-
-
作者
张青龙
韩锐
刘驰
-
机构
北京理工大学计算机学院
-
出处
《电子学报》
北大核心
2025年第2期287-300,共14页
-
基金
国家重点研发计划(No.2023YFE0209100)
国家自然科学基金(No.62272046,No.62132019,No.61872337)。
-
文摘
边缘侧大模型外部环境的不确定性(如路边摄像头画面中天气、光照、物体密度的变化),导致其输入数据分布持续改变,因此需进行重训以维持高精度.受限于设备可用资源和重训窗口,现有技术仅能训练固定压缩模型,其有限的泛化能力导致模型精度显著降低.本文提出云边协同大模型块粒度重训方法,引入模型重训缩放定律评估不同块对边缘侧当前数据的精度贡献,以此为依据生成有限资源下最优重训方案,将云平台大模型中精度最相关部分动态转换为边缘侧可重训小模型,构建大小模型协同训练系统.真实云边平台上对比实验表明,本文方法可以在相同资源消耗下提升大模型重训精度81.24%,并支持最大至330亿参数大模型重训.
-
关键词
大模型
边缘侧动态环境
模型重训
缩放定律
云边大小模型协同训练
-
Keywords
foundation model
dynamic environment at edge
model retraining
scaling law
edge-cloud collaborative retraining of large and small models
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名面向边缘计算场景的个性化联邦学习综述
- 2
-
-
作者
何帆
王勇
杨静
于旭
-
机构
哈尔滨工程大学计算机科学与技术学院
哈尔滨工程大学电子政务建模仿真国家工程实验室
中国石油大学(华东)计算机科学与技术学院
-
出处
《通信学报》
北大核心
2025年第7期206-225,共20页
-
基金
国家自然科学基金资助项目(No.62472441)
国家重点研发计划基金资助项目(No.2022YFC3301804)
+1 种基金
教育部人文社会科学研究青年基金资助项目(No.20YJCZH172)
黑龙江省自然科学基金资助项目(No.LH2024F035)。
-
文摘
针对传统联邦学习在边缘计算场景中面临边缘节点数据异质、个性化需求等挑战,导致全局模型难以适配多样化的边缘节点,对面向边缘计算场景的个性化联邦学习研究进展进行系统性的综述。首先,回顾个性化联邦学习的背景及意义并分析数据异质性对联邦学习的影响。其次,介绍数据异质性的概念,并归纳数据异质性的常见形式。然后,梳理现阶段面向边缘计算场景的个性化联邦学习研究方法,主要包括基于数据、基于客户端模型优化、基于服务器聚合优化、基于全局架构优化、基于大模型以及基于原型学习的5种关键方法。最后,对其发展趋势进行探讨并展望未来可能的研究方向,为未来个性化联邦学习领域的研究提供指引和方向。
-
关键词
边缘计算场景
模型协同训练
数据异质性
个性化联邦学习
-
Keywords
edge computing scenario
collaborative model training
data heterogeneous
personalized federated learning
-
分类号
TN92
[电子电信—通信与信息系统]
-
