期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
带有方差减小的加权零阶随机梯度下降算法 被引量:6
1
作者 鲁淑霞 张罗幻 +1 位作者 蔡莲香 孙丽丽 《河北大学学报(自然科学版)》 CAS 北大核心 2019年第5期536-546,共11页
随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导... 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题. 展开更多
关键词 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机
在线阅读 下载PDF
分布式随机方差消减梯度下降算法topkSVRG 被引量:5
2
作者 王建飞 亢良伊 +1 位作者 刘杰 叶丹 《计算机科学与探索》 CSCD 北大核心 2018年第7期1047-1054,共8页
机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(... 机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。 展开更多
关键词 机器学习 优化 随机梯度下降(SGD) 随机方差消减梯度(svrg) 分布式计算
在线阅读 下载PDF
面向大规模数据主题建模的方差减小的随机变分推理算法 被引量:1
3
作者 刘张虎 程春玲 《计算机应用》 CSCD 北大核心 2018年第6期1675-1681,共7页
随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI... 随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI(VR-SVI)算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VRSVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。 展开更多
关键词 随机变分推理 滑动窗口 随机梯度 方差减小 主题建模
在线阅读 下载PDF
求解SVM的稀疏随机方差缩减梯度法 被引量:3
4
作者 周晓君 于腾腾 《计算机应用研究》 CSCD 北大核心 2020年第S02期95-97,101,共4页
针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高... 针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高维稀疏数据下,SVRG在外循环的迭代中因全梯度的计算而变得稠密,使用稀疏近似梯度将MSVRG-BB算法拓展得到新的算法:MSSVRG-BB。数值实验表明,MSSVRG-BB算法不仅对初始参数的选取并不敏感,且与先进的小批量算法相比,对于求解大规模高维稀疏数据的线性SVM问题,稀疏近似梯度的使用使运算成本减小进而能够更快地达到收敛上界。 展开更多
关键词 支持向量机 稀疏性 Barzilai-Borwein 小批量 随机方差减小梯度(svrg)
在线阅读 下载PDF
带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法 被引量:1
5
作者 秦传东 杨旭 《计算机应用研究》 CSCD 北大核心 2023年第12期3655-3659,3665,共6页
为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基... 为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 展开更多
关键词 随机梯度下降 小批量算 Barzilai-Borwein方 方差缩减 凸优化
在线阅读 下载PDF
批量减数更新方差缩减梯度下降算法BSUG 被引量:6
6
作者 宋杰 朱勇 许冰 《计算机工程与应用》 CSCD 北大核心 2020年第22期117-123,共7页
机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达... 机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。 展开更多
关键词 机器学习 优化 小批量 减数更新 随机方差缩减梯度(svrg)
在线阅读 下载PDF
基于SVRGD的机载预警雷达自适应波束形成算法 被引量:4
7
作者 彭芳 吴军 +1 位作者 王帅 向建军 《系统工程与电子技术》 EI CSCD 北大核心 2021年第1期83-90,共8页
自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度... 自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度下降(stochastic variance reduction gradient descent,SVRGD)自适应波束形成方法。首先,建立面阵列接收信号数据模型。其次,基于随机梯度下降原理,引入方差缩减法通过内外循环迭代方式进行梯度修正,以减小随机梯度估计的方差,建立算法模型与实现流程。最后,通过设置平面阵列仿真场景,分析SVRGD自适应波束形成算法在波束形成、抗干扰、收敛速度等方面的性能,验证了该算法在低快拍数、强干扰和强噪声背景下具有的优良能力。 展开更多
关键词 机载预警雷达 自适应波束形成 随机梯度下降 随机方差减小梯度下降 机器学习
在线阅读 下载PDF
AdaSVRG:自适应学习率加速SVRG 被引量:5
8
作者 吉梦 何清龙 《计算机工程与应用》 CSCD 北大核心 2022年第9期83-90,共8页
在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想... 在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。 展开更多
关键词 深度学习 随机方差衰减梯度 自适应学习率 动量
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部