基于数据压缩和梯度追踪的方差缩减的联邦优化算法

1

作者 贾泽慧 李登辉 +1 位作者 刘治宇 黄洁茹 《南京理工大学学报》 北大核心 2025年第2期155-166,共12页

为克服联邦学习中的计算成本、通信成本以及数据异质等挑战,该文提出了一种基于数据压缩和梯度追踪的方差缩减的联邦优化算法(FedCOMGATE-VR)。与传统依赖简单随机梯度估计的联邦学习算法不同,FedCOMGATE-VR通过引入方差缩减的随机梯度... 为克服联邦学习中的计算成本、通信成本以及数据异质等挑战,该文提出了一种基于数据压缩和梯度追踪的方差缩减的联邦优化算法(FedCOMGATE-VR)。与传统依赖简单随机梯度估计的联邦学习算法不同,FedCOMGATE-VR通过引入方差缩减的随机梯度估计,能够使用更大的步长,从而加速算法收敛;同时,采用数据压缩技术处理上传的模型参数,减少了通信成本;此外,结合梯度追踪技术,准确追踪局部梯度与全局梯度之间的偏差,有效应对数据异质的联邦学习场景。理论方面,该文在非凸情形下给出了算法的次线性收敛率,并在强凸情形下给出了算法的线性收敛率。此外,该文将FedCOMGATE-VR用于对Fashion-MNIST和CIFAR-10数据集进行分类训练,并与已有算法在不同参数设置(步长、本地更新次数等)下进行对比实验。实验结果表明,FedCOMGATE-VR能够适应复杂的异质数据环境,且在达到相同预设训练准确率时,该算法较FedCOMGATE通信次数降低约20%,总迭代次数降低约66%,有效降低了通信和计算成本。 展开更多

关键词 联邦学习 随机梯度下降 方差缩减 数据异质

在线阅读 下载PDF 职称材料

基于随机采样的方差缩减优化算法

2

作者 郭振华 闫瑞栋 +2 位作者 邱志勇 赵雅倩 李仁刚 《计算机科学与探索》 北大核心 2025年第3期667-681,共15页

随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此... 随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此,有效减小方差成为当前关键挑战。提出了一种基于小批量随机采样的方差缩减优化算法(DM-SRG),并应用于求解凸优化及非凸优化问题。算法主要特征在于设计了内外双循环结构:外循环结构采用小批量随机样本计算梯度近似全梯度,以达到减少梯度计算开销的目的;内循环结构采用小批量随机样本计算梯度并代替单样本随机梯度,提升算法收敛稳定性。针对非凸目标函数与凸目标函数,理论分析证明了DMSRG算法具有次线性收敛速率。此外,设计了基于计算单元性能评估模型的动态样本容量调整策略,以提高系统训练效率。为评估算法的有效性,分别在不同规模的真实数据集上开展了数值模拟实验。实验结果表明算法较对比算法损失函数减少18.1%并且平均耗时降低8.22%。 展开更多

关键词 随机梯度下降 方差缩减 凸优化 非凸优化 收敛速率

在线阅读 下载PDF 职称材料

基于Polyak步长的加速临近随机方差缩减算法

3

作者 王福胜 史鲁玉 《运筹学学报（中英文）》 CSCD 北大核心 2024年第2期131-142,共12页

针对大规模机器学习中随机复合优化问题,本文将加速临近随机方差缩减算法(Acc-Prox-SVRG)和Polyak步长方法相结合,提出了一种新的加速临近随机方差缩减算法(Acc-Prox-SVRG-Polyak)。相比于已有算法,新算法充分利用加速技术和Polyak步长... 针对大规模机器学习中随机复合优化问题,本文将加速临近随机方差缩减算法(Acc-Prox-SVRG)和Polyak步长方法相结合,提出了一种新的加速临近随机方差缩减算法(Acc-Prox-SVRG-Polyak)。相比于已有算法,新算法充分利用加速技术和Polyak步长的优越性,提高了准确率。在通常的假定下论证了算法的收敛性,并分析了复杂度。最后,数值实验验证了新算法的有效性。 展开更多

关键词 Polyak步长 方差缩减 机器学习 随机梯度

在线阅读 下载PDF 职称材料

分布式随机方差消减梯度下降算法topkSVRG 被引量：5

4

作者 王建飞 亢良伊 +1 位作者 刘杰 叶丹 《计算机科学与探索》 CSCD 北大核心 2018年第7期1047-1054,共8页

机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(... 机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。 展开更多

关键词 机器学习 优化 随机梯度下降(SGD) 随机方差消减梯度法(svrg) 分布式计算

在线阅读 下载PDF 职称材料

求解SVM的稀疏随机方差缩减梯度法 被引量：3

5

作者 周晓君 于腾腾 《计算机应用研究》 CSCD 北大核心 2020年第S02期95-97,101,共4页

针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高... 针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高维稀疏数据下,SVRG在外循环的迭代中因全梯度的计算而变得稠密,使用稀疏近似梯度将MSVRG-BB算法拓展得到新的算法:MSSVRG-BB。数值实验表明,MSSVRG-BB算法不仅对初始参数的选取并不敏感,且与先进的小批量算法相比,对于求解大规模高维稀疏数据的线性SVM问题,稀疏近似梯度的使用使运算成本减小进而能够更快地达到收敛上界。 展开更多

关键词 支持向量机 稀疏性 Barzilai-Borwein 小批量 随机方差减小梯度法(svrg)

在线阅读 下载PDF 职称材料

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法 被引量：1

6

作者 秦传东 杨旭 《计算机应用研究》 CSCD 北大核心 2023年第12期3655-3659,3665,共6页

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基... 为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 展开更多

关键词 随机梯度下降法 小批量算法 Barzilai-Borwein方法 方差缩减 凸优化

在线阅读 下载PDF 职称材料

批量减数更新方差缩减梯度下降算法BSUG 被引量：6

7

作者 宋杰 朱勇 许冰 《计算机工程与应用》 CSCD 北大核心 2020年第22期117-123,共7页

机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达... 机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。 展开更多

关键词 机器学习 优化 小批量 减数更新 随机方差缩减梯度法(svrg)

在线阅读 下载PDF 职称材料

非负Tucker分解的随机方差缩减乘性更新算法

8

作者 白姗姗 史加荣 《南京理工大学学报》 EI CAS CSCD 北大核心 2021年第2期197-204,共8页

为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,... 为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,最后通过梯度下降思想来更新核心张量。对高维数据进行非负Tucker分解时,加快收敛速度且降低计算复杂度,提高了张量分解性能。在人工合成数据集及真实数据集上进行数值实验,结果验证了所提算法的可行性和有效性。 展开更多

关键词 非负Tucker分解 随机方差缩减梯度算法 乘性更新 梯度下降

在线阅读 下载PDF 职称材料

基于随机方差调整梯度的非负矩阵分解 被引量：1

9

作者 史加荣 白姗姗 《吉林大学学报（理学版）》 CAS 北大核心 2021年第1期128-135,共8页

针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从... 针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从而能快速、准确地逼近最优解.在真实数据集上进行仿真实验,结果验证了该算法的可行性和有效性. 展开更多

关键词 非负矩阵分解 随机梯度下降 参数调整梯度 方差缩减 乘性更新

在线阅读 下载PDF 职称材料

基于随机方差减小方法的DDPG算法 被引量：3

10

作者 杨薛钰 陈建平 +2 位作者 傅启明 陆悠 吴宏杰 《计算机工程与应用》 CSCD 北大核心 2021年第19期104-111,共8页

针对深度确定性策略梯度算法(DDPG)收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法(SVR-DDPG)。该算法通过利用随机方差减小梯度技术(SVRG)提出一种新的创新优... 针对深度确定性策略梯度算法(DDPG)收敛速度比较慢,训练不稳定,方差过大,样本应用效率低的问题,提出了一种基于随机方差减小梯度方法的深度确定性策略梯度算法(SVR-DDPG)。该算法通过利用随机方差减小梯度技术(SVRG)提出一种新的创新优化策略,将之运用到DDPG算法之中,在DDPG算法的参数更新过程中,加入了随机方差减小梯度技术,利用该方法的更新方式,使得估计的梯度方差有一个不断减小的上界,令方差不断缩小,从而在小的随机训练子集的基础上找到更加精确的梯度方向,以此来解决了由近似梯度估计误差引发的问题,加快了算法的收敛速度。将SVR-DDPG算法以及DDPG算法应用于Pendulum和Mountain Car问题,实验结果表明,SVR-DDPG算法具有比原算法更快的收敛速度,更好的稳定性,以此证明了算法的有效性。 展开更多

关键词 深度强化学习 深度Q学习算法(DQN) 深度确定性策略梯度算法(DDPG) 随机方差缩减梯度技术

在线阅读 下载PDF 职称材料

AdaSVRG:自适应学习率加速SVRG 被引量：5

11

作者 吉梦 何清龙 《计算机工程与应用》 CSCD 北大核心 2022年第9期83-90,共8页

在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想... 在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。 展开更多

关键词 深度学习 随机方差衰减梯度法 自适应学习率 动量法

在线阅读 下载PDF 职称材料