基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基...基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基于数据特征相关性和自适应差分隐私的深度学习方法(deep learning methods based on data feature Relevance and Adaptive Differential Privacy,RADP).首先,该方法利用逐层相关性传播算法在预训练模型上计算出原始数据集上每个特征的平均相关性;然后,使用基于信息熵的方法计算每个特征平均相关性的隐私度量,根据隐私度量对特征平均相关性自适应地添加拉普拉斯噪声;在此基础上,根据加噪保护后的每个特征平均相关性,合理分配隐私预算,自适应地对特征添加拉普拉斯噪声;最后,理论分析该方法(RADP)满足ε-差分隐私,并且兼顾安全性与可用性.同时,在三个真实数据集(MNIST,Fashion-MNIST,CIFAR-10)上的实验结果表明,RADP方法的准确率以及平均损失均优于AdLM(Adaptive Laplace Mechanism)方法、DPSGD(Differential Privacy with Stochastic Gradient Descent)方法和DPDLIGDO(Differentially Private Deep Learning with Iterative Gradient Descent Optimization)方法,并且RADP方法的稳定性仍能保持良好.展开更多
为了对所收集的未标记数据进行划分归类,用已知数据生成预测模型成为一种热门方法。针对模型会隐式地记住训练数据集而导致数据隐私泄露的问题,为保护训练集的隐私安全,将差分隐私应用于多类别图像数据集分类任务中,提出差分隐私与深度...为了对所收集的未标记数据进行划分归类,用已知数据生成预测模型成为一种热门方法。针对模型会隐式地记住训练数据集而导致数据隐私泄露的问题,为保护训练集的隐私安全,将差分隐私应用于多类别图像数据集分类任务中,提出差分隐私与深度残差网络(differential privacy with deep residual networks,Diff-RN)方法。该方法将多类别图像数据分成多个互斥的数据集,通过黑盒的方式对互斥数据集分别进行非公开的教师模型训练,并使用拉普拉斯机制对教师模型结果聚合注入噪声与非敏感公共数据集结合,利用深度残差网络训练公开的学生模型,实验结果表明,在数据集cifar-100上,Diff-RN方法训练得到的模型分类精确度提高,训练过程中数据损失量降低,隐私保护程度更高,并且整个训练过程满足ε-差分隐私。展开更多
文摘基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基于数据特征相关性和自适应差分隐私的深度学习方法(deep learning methods based on data feature Relevance and Adaptive Differential Privacy,RADP).首先,该方法利用逐层相关性传播算法在预训练模型上计算出原始数据集上每个特征的平均相关性;然后,使用基于信息熵的方法计算每个特征平均相关性的隐私度量,根据隐私度量对特征平均相关性自适应地添加拉普拉斯噪声;在此基础上,根据加噪保护后的每个特征平均相关性,合理分配隐私预算,自适应地对特征添加拉普拉斯噪声;最后,理论分析该方法(RADP)满足ε-差分隐私,并且兼顾安全性与可用性.同时,在三个真实数据集(MNIST,Fashion-MNIST,CIFAR-10)上的实验结果表明,RADP方法的准确率以及平均损失均优于AdLM(Adaptive Laplace Mechanism)方法、DPSGD(Differential Privacy with Stochastic Gradient Descent)方法和DPDLIGDO(Differentially Private Deep Learning with Iterative Gradient Descent Optimization)方法,并且RADP方法的稳定性仍能保持良好.
文摘为了对所收集的未标记数据进行划分归类,用已知数据生成预测模型成为一种热门方法。针对模型会隐式地记住训练数据集而导致数据隐私泄露的问题,为保护训练集的隐私安全,将差分隐私应用于多类别图像数据集分类任务中,提出差分隐私与深度残差网络(differential privacy with deep residual networks,Diff-RN)方法。该方法将多类别图像数据分成多个互斥的数据集,通过黑盒的方式对互斥数据集分别进行非公开的教师模型训练,并使用拉普拉斯机制对教师模型结果聚合注入噪声与非敏感公共数据集结合,利用深度残差网络训练公开的学生模型,实验结果表明,在数据集cifar-100上,Diff-RN方法训练得到的模型分类精确度提高,训练过程中数据损失量降低,隐私保护程度更高,并且整个训练过程满足ε-差分隐私。
