为了解决联邦学习在车联网中终端设备数据的异质性导致模型训练准确率不稳定和性能下降,以及车辆分布广泛,通信和计算资源有限的问题,提出一种数据类型和数据规模并行优化的群联邦迁移学习数据共享方法(swarm federated transfer learni...为了解决联邦学习在车联网中终端设备数据的异质性导致模型训练准确率不稳定和性能下降,以及车辆分布广泛,通信和计算资源有限的问题,提出一种数据类型和数据规模并行优化的群联邦迁移学习数据共享方法(swarm federated transfer learning,SFTL)。提出基于高斯混合模型的共识设备组划分机制,通过对数据分布建模构建共识设备组,实现对异质性数据的有效管理和分析;面向划分的共识设备组,设计蜂群学习训练机制,加强相似设备组之间的协同学习过程;提出组间迁移学习机制,通过模型预训练法增量迁移不同共识设备组信息最小化模型差异,提高联邦模型聚合准确率。在公共数据集上的实验表明:与基线方法相比,SFTL模型训练准确率平均提高7%,通信时间平均降低10%。展开更多
基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基...基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基于数据特征相关性和自适应差分隐私的深度学习方法(deep learning methods based on data feature Relevance and Adaptive Differential Privacy,RADP).首先,该方法利用逐层相关性传播算法在预训练模型上计算出原始数据集上每个特征的平均相关性;然后,使用基于信息熵的方法计算每个特征平均相关性的隐私度量,根据隐私度量对特征平均相关性自适应地添加拉普拉斯噪声;在此基础上,根据加噪保护后的每个特征平均相关性,合理分配隐私预算,自适应地对特征添加拉普拉斯噪声;最后,理论分析该方法(RADP)满足ε-差分隐私,并且兼顾安全性与可用性.同时,在三个真实数据集(MNIST,Fashion-MNIST,CIFAR-10)上的实验结果表明,RADP方法的准确率以及平均损失均优于AdLM(Adaptive Laplace Mechanism)方法、DPSGD(Differential Privacy with Stochastic Gradient Descent)方法和DPDLIGDO(Differentially Private Deep Learning with Iterative Gradient Descent Optimization)方法,并且RADP方法的稳定性仍能保持良好.展开更多
文摘为了解决联邦学习在车联网中终端设备数据的异质性导致模型训练准确率不稳定和性能下降,以及车辆分布广泛,通信和计算资源有限的问题,提出一种数据类型和数据规模并行优化的群联邦迁移学习数据共享方法(swarm federated transfer learning,SFTL)。提出基于高斯混合模型的共识设备组划分机制,通过对数据分布建模构建共识设备组,实现对异质性数据的有效管理和分析;面向划分的共识设备组,设计蜂群学习训练机制,加强相似设备组之间的协同学习过程;提出组间迁移学习机制,通过模型预训练法增量迁移不同共识设备组信息最小化模型差异,提高联邦模型聚合准确率。在公共数据集上的实验表明:与基线方法相比,SFTL模型训练准确率平均提高7%,通信时间平均降低10%。
文摘基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基于数据特征相关性和自适应差分隐私的深度学习方法(deep learning methods based on data feature Relevance and Adaptive Differential Privacy,RADP).首先,该方法利用逐层相关性传播算法在预训练模型上计算出原始数据集上每个特征的平均相关性;然后,使用基于信息熵的方法计算每个特征平均相关性的隐私度量,根据隐私度量对特征平均相关性自适应地添加拉普拉斯噪声;在此基础上,根据加噪保护后的每个特征平均相关性,合理分配隐私预算,自适应地对特征添加拉普拉斯噪声;最后,理论分析该方法(RADP)满足ε-差分隐私,并且兼顾安全性与可用性.同时,在三个真实数据集(MNIST,Fashion-MNIST,CIFAR-10)上的实验结果表明,RADP方法的准确率以及平均损失均优于AdLM(Adaptive Laplace Mechanism)方法、DPSGD(Differential Privacy with Stochastic Gradient Descent)方法和DPDLIGDO(Differentially Private Deep Learning with Iterative Gradient Descent Optimization)方法,并且RADP方法的稳定性仍能保持良好.
