传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架F...传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架FedPG(federated learning with personalized global model)。FedPG基于客户端模型的相似性,将归一化后的模型参数变化量的余弦相似度作为模型聚合的个性化权重,从而实现面向客户端的全局模型个性化聚合。通过引入平滑系数,该框架可以灵活地调整模型中共性信息和个性信息的比重。为了降低平滑系数的选择成本,进一步提出调度平滑系数的个性化联邦学习模型聚合框架FedPGS(federated learning with personalized global model and scheduled personalization)。在实验中,FedPG和FedPGS两个框架使得FedAvg、FedProto、FedProx算法在特征分布偏移的数据集上的准确率平均提升1.20~11.50百分点,且使得模型的准确率受恶意设备的影响更小。结果表明,FedPG和FedPGS框架在数据异构和存在恶意设备干扰的情况下能有效提升模型的准确率和鲁棒性。展开更多
文摘传统联邦学习中经过加权聚合得到的全局模型无法应对跨客户端的数据异构的问题。现有研究通过形成个性化模型应对,但个性化模型如何平衡全局的共性信息和本地的个性信息是一个挑战。针对上述问题,提出了一种个性化联邦学习模型聚合框架FedPG(federated learning with personalized global model)。FedPG基于客户端模型的相似性,将归一化后的模型参数变化量的余弦相似度作为模型聚合的个性化权重,从而实现面向客户端的全局模型个性化聚合。通过引入平滑系数,该框架可以灵活地调整模型中共性信息和个性信息的比重。为了降低平滑系数的选择成本,进一步提出调度平滑系数的个性化联邦学习模型聚合框架FedPGS(federated learning with personalized global model and scheduled personalization)。在实验中,FedPG和FedPGS两个框架使得FedAvg、FedProto、FedProx算法在特征分布偏移的数据集上的准确率平均提升1.20~11.50百分点,且使得模型的准确率受恶意设备的影响更小。结果表明,FedPG和FedPGS框架在数据异构和存在恶意设备干扰的情况下能有效提升模型的准确率和鲁棒性。
