联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧...联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧重于客户端本地模型的优化,忽略了服务器端全局模型的优化,导致服务器计算资源没有得到充分利用。针对上述局限性,提出基于模型预分配(PA)与自蒸馏(SD)的PFL方法FedPASD。FedPASD从服务器端和客户端2方面入手:在服务器端,对下一轮客户端模型有针对性地预先分配,这样不仅能提高模型的个性化性能,还能有效利用服务器的计算能力;在客户端,经过分层训练,并通过模型自蒸馏微调使模型更好地适应本地数据分布的特点。在3个数据集CIFAR-10、Fashion-MNIST和CIFAR-100上,将FedPASD与FedCP(Federated Conditional Policy)、FedPAC(Personalization with feature Alignment and classifier Collaboration)和FedALA(Federated learning with Adaptive Local Aggregation)等作为基准的典型算法进行对比实验的结果表明:FedPASD在不同异构设置下的测试准确率都高于基准算法。具体而言,FedPASD在CIFAR-100数据集上,客户端数量为50,参与率为50%的实验设置中,测试准确率较传统FL算法提升了29.05~29.22个百分点,较PFL算法提升了1.11~20.99个百分点;在CIFAR-10数据集上最高可达88.54%测试准确率。展开更多
联邦学习作为解决数据隔离问题的新兴范式,能够在不需要客户端上传原始数据的情况下训练全局模型,有效保护用户隐私。由于客户端数量众多但通信资源有限,只能选择部分客户端参与模型聚合。然而联邦学习系统存在设备异构和数据异质等挑战...联邦学习作为解决数据隔离问题的新兴范式,能够在不需要客户端上传原始数据的情况下训练全局模型,有效保护用户隐私。由于客户端数量众多但通信资源有限,只能选择部分客户端参与模型聚合。然而联邦学习系统存在设备异构和数据异质等挑战,简单的客户端选择策略无法考虑环境的动态特性,会拖慢模型的收敛速度,降低模型性能。考虑到客户端状态的时变,提出了全新的客户端可用性评估指标,建立了多重约束下的联邦学习客户端选择模型,建模为损失最小化问题;将优化问题转化为马尔可夫决策过程,提出了一种基于深度强化学习的联邦学习客户端自适应选择(Adaptive Selection for Clients in Federated Learning based on Deep Reinforcement Learning,ASC-DRL)算法,综合考虑通信延迟、资源消耗及客户端可用性,通过代理服务器与环境之间的持续交互最大化奖励函数,得到最优客户端选择方案。实验结果表明,提出的ASC-DRL算法相比于传统联邦学习算法,在模型精度和训练损失方面有着最高89.2%和99.8%的效果提升,能够有效适应动态环境变化,提升联邦学习整体性能和稳定性。展开更多
将联邦学习应用于无线身体区域网络(wireless body area network,WBAN)可解决隐私数据保护问题,但仍然面临着全局模型准确率下降和能耗高的挑战。提出了面向智慧医疗的联邦学习系统模型,构建了各个WBAN节点参与联邦学习的能耗模型,分析...将联邦学习应用于无线身体区域网络(wireless body area network,WBAN)可解决隐私数据保护问题,但仍然面临着全局模型准确率下降和能耗高的挑战。提出了面向智慧医疗的联邦学习系统模型,构建了各个WBAN节点参与联邦学习的能耗模型,分析了其数据特性和资源特性。为保护本地数据隐私,避免直接获取原始数据信息,引入KL散度(Kullback-Leibler divergence)代表各节点的统计异构程度,通过信道增益、带宽等指标代表各节点的系统异构程度,提出了一种结合SAC(soft actor-critic)的联邦学习动态节点选择和资源分配方法。在每轮联邦学习训练开始前,SAC算法根据WBAN节点上传的数据特性和资源特性,动态选择参与训练的节点、分配本地计算资源和通信资源,解决WBAN节点的统计异构性和系统异构性导致的全局模型准确率下降和能耗高的问题。在CIFAR10、FashionMNIST、PathMNIST数据集上的实验表明,所提方法相比FedAvg、FAVOR、FLASH-RL,全局模型准确率至多提高20%、能耗降低了50%,并加快了全局模型收敛速度、减小了准确率波动,证明了所提方法的有效性。展开更多
联邦学习是一种经典的分布式机器学习范式,允许在不集中数据的前提实现模型协同训练。该方法在保障数据隐私方面具有显著优势,然而由于客户端间数据异质性显著以及联邦规模不断扩大,对训练效率和模型性能提出诸多挑战。已有研究表明,在...联邦学习是一种经典的分布式机器学习范式,允许在不集中数据的前提实现模型协同训练。该方法在保障数据隐私方面具有显著优势,然而由于客户端间数据异质性显著以及联邦规模不断扩大,对训练效率和模型性能提出诸多挑战。已有研究表明,在独立同分布(independent and identically distributed,IID)环境下,模型的参数结构通常满足特定一致性关系,这些一致性关系往往在神经网络训练过程的中间结果中得以保留。若在非独立同分布(non-independent and identically distributed,non-IID)数据下能够识别并正则化上述一致性关系,有助于将参数分布向IID情形对齐,从而缓解数据异质性带来的影响。基于上述思想,引入深度学习加密数据概念,并基于此提出了一种一致性优化范式。发掘数据软标签与模型分类层权重矩阵之间的一致性关系,据此构建了一个新的异构联邦学习框架FedDW。在4个公开数据集及多种神经网络模型(包括ResNet,ViT)上开展实验。结果表明,在高度异构的客户端数据设置下,FedDW相较于10种主流联邦学习方法在平均准确率上提升了约3个百分点。此外从理论上证明了FedDW具备更高的训练效率,其附加的反向传播计算开销可以忽略不计。展开更多
文摘联邦学习(FL)是一种分布式机器学习方法,即利用分布式数据在训练模型的同时保护数据隐私。然而,它在高度异构的数据分布情况时表现不佳。个性化联邦学习(PFL)通过为每个客户端提供个性化模型来解决这一问题。然而,以往的PFL算法主要侧重于客户端本地模型的优化,忽略了服务器端全局模型的优化,导致服务器计算资源没有得到充分利用。针对上述局限性,提出基于模型预分配(PA)与自蒸馏(SD)的PFL方法FedPASD。FedPASD从服务器端和客户端2方面入手:在服务器端,对下一轮客户端模型有针对性地预先分配,这样不仅能提高模型的个性化性能,还能有效利用服务器的计算能力;在客户端,经过分层训练,并通过模型自蒸馏微调使模型更好地适应本地数据分布的特点。在3个数据集CIFAR-10、Fashion-MNIST和CIFAR-100上,将FedPASD与FedCP(Federated Conditional Policy)、FedPAC(Personalization with feature Alignment and classifier Collaboration)和FedALA(Federated learning with Adaptive Local Aggregation)等作为基准的典型算法进行对比实验的结果表明:FedPASD在不同异构设置下的测试准确率都高于基准算法。具体而言,FedPASD在CIFAR-100数据集上,客户端数量为50,参与率为50%的实验设置中,测试准确率较传统FL算法提升了29.05~29.22个百分点,较PFL算法提升了1.11~20.99个百分点;在CIFAR-10数据集上最高可达88.54%测试准确率。
文摘联邦学习作为解决数据隔离问题的新兴范式,能够在不需要客户端上传原始数据的情况下训练全局模型,有效保护用户隐私。由于客户端数量众多但通信资源有限,只能选择部分客户端参与模型聚合。然而联邦学习系统存在设备异构和数据异质等挑战,简单的客户端选择策略无法考虑环境的动态特性,会拖慢模型的收敛速度,降低模型性能。考虑到客户端状态的时变,提出了全新的客户端可用性评估指标,建立了多重约束下的联邦学习客户端选择模型,建模为损失最小化问题;将优化问题转化为马尔可夫决策过程,提出了一种基于深度强化学习的联邦学习客户端自适应选择(Adaptive Selection for Clients in Federated Learning based on Deep Reinforcement Learning,ASC-DRL)算法,综合考虑通信延迟、资源消耗及客户端可用性,通过代理服务器与环境之间的持续交互最大化奖励函数,得到最优客户端选择方案。实验结果表明,提出的ASC-DRL算法相比于传统联邦学习算法,在模型精度和训练损失方面有着最高89.2%和99.8%的效果提升,能够有效适应动态环境变化,提升联邦学习整体性能和稳定性。
文摘将联邦学习应用于无线身体区域网络(wireless body area network,WBAN)可解决隐私数据保护问题,但仍然面临着全局模型准确率下降和能耗高的挑战。提出了面向智慧医疗的联邦学习系统模型,构建了各个WBAN节点参与联邦学习的能耗模型,分析了其数据特性和资源特性。为保护本地数据隐私,避免直接获取原始数据信息,引入KL散度(Kullback-Leibler divergence)代表各节点的统计异构程度,通过信道增益、带宽等指标代表各节点的系统异构程度,提出了一种结合SAC(soft actor-critic)的联邦学习动态节点选择和资源分配方法。在每轮联邦学习训练开始前,SAC算法根据WBAN节点上传的数据特性和资源特性,动态选择参与训练的节点、分配本地计算资源和通信资源,解决WBAN节点的统计异构性和系统异构性导致的全局模型准确率下降和能耗高的问题。在CIFAR10、FashionMNIST、PathMNIST数据集上的实验表明,所提方法相比FedAvg、FAVOR、FLASH-RL,全局模型准确率至多提高20%、能耗降低了50%,并加快了全局模型收敛速度、减小了准确率波动,证明了所提方法的有效性。
文摘联邦学习是一种经典的分布式机器学习范式,允许在不集中数据的前提实现模型协同训练。该方法在保障数据隐私方面具有显著优势,然而由于客户端间数据异质性显著以及联邦规模不断扩大,对训练效率和模型性能提出诸多挑战。已有研究表明,在独立同分布(independent and identically distributed,IID)环境下,模型的参数结构通常满足特定一致性关系,这些一致性关系往往在神经网络训练过程的中间结果中得以保留。若在非独立同分布(non-independent and identically distributed,non-IID)数据下能够识别并正则化上述一致性关系,有助于将参数分布向IID情形对齐,从而缓解数据异质性带来的影响。基于上述思想,引入深度学习加密数据概念,并基于此提出了一种一致性优化范式。发掘数据软标签与模型分类层权重矩阵之间的一致性关系,据此构建了一个新的异构联邦学习框架FedDW。在4个公开数据集及多种神经网络模型(包括ResNet,ViT)上开展实验。结果表明,在高度异构的客户端数据设置下,FedDW相较于10种主流联邦学习方法在平均准确率上提升了约3个百分点。此外从理论上证明了FedDW具备更高的训练效率,其附加的反向传播计算开销可以忽略不计。
