-
题名基于Z-Score动态压缩的高效联邦学习算法
被引量：2
- 1
-
-
作者
刘乔寿
皮胜文
原炜锡
-
机构
重庆邮电大学通信与信息工程学院
重庆邮电大学先进网络与智能互联技术重庆市高校重点实验室
重庆邮电大学泛在感知与互联重庆市重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2024年第7期2093-2097,共5页
-
文摘
联邦学习作为一种具有隐私保护的新兴分布式计算范式,在一定程度上保护了用户隐私和数据安全。然而,由于联邦学习系统中客户端与服务器需要频繁地交换模型参数,造成了较大的通信开销。在带宽有限的无线通信场景中,这成为了限制联邦学习发展的主要瓶颈。针对这一问题,提出了一种基于Z-Score的动态稀疏压缩算法。通过引入Z-Score,对局部模型更新进行离群点检测,将重要的更新值视为离群点,从而将其挑选出来。在不需要复杂的排序算法以及原始模型更新的先验知识的情况下,实现模型更新的稀疏化。同时随着通信轮次的增加,根据全局模型的损失值动态地调整稀疏率,从而在保证模型精度的前提下最大程度地减少总通信量。通过实验证明,在I.I.D.数据场景下,该算法与联邦平均(FedAvg)算法相比可以降低95%的通信量,精度损失仅仅为1.6%,与FTTQ算法相比可以降低40%~50%的通信量,精度损失仅为1.29%,证明了该方法在保证模型性能的同时显著降低了通信成本。
-
关键词
联邦学习
Z-SCORE
稀疏化
动态稀疏率
-
Keywords
federated learning
Z-Score
sparsification
dynamic sparsity
-
分类号
TP301.6
[自动化与计算机技术—计算机系统结构]
-
