期刊文献+
共找到11篇文章
< 1 >
每页显示 20 50 100
带有方差减小的加权零阶随机梯度下降算法 被引量:6
1
作者 鲁淑霞 张罗幻 +1 位作者 蔡莲香 孙丽丽 《河北大学学报(自然科学版)》 CAS 北大核心 2019年第5期536-546,共11页
随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导... 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题. 展开更多
关键词 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机
在线阅读 下载PDF
基于集成重要性采样的随机梯度下降算法
2
作者 张浩 鲁淑霞 《南京理工大学学报》 CAS CSCD 北大核心 2024年第3期342-350,共9页
许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这... 许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。 展开更多
关键词 集成学习 重要性采样 采样器 随机梯度下降 方差减少
在线阅读 下载PDF
基于数据压缩和梯度追踪的方差缩减的联邦优化算法
3
作者 贾泽慧 李登辉 +1 位作者 刘治宇 黄洁茹 《南京理工大学学报》 北大核心 2025年第2期155-166,共12页
为克服联邦学习中的计算成本、通信成本以及数据异质等挑战,该文提出了一种基于数据压缩和梯度追踪的方差缩减的联邦优化算法(FedCOMGATE-VR)。与传统依赖简单随机梯度估计的联邦学习算法不同,FedCOMGATE-VR通过引入方差缩减的随机梯度... 为克服联邦学习中的计算成本、通信成本以及数据异质等挑战,该文提出了一种基于数据压缩和梯度追踪的方差缩减的联邦优化算法(FedCOMGATE-VR)。与传统依赖简单随机梯度估计的联邦学习算法不同,FedCOMGATE-VR通过引入方差缩减的随机梯度估计,能够使用更大的步长,从而加速算法收敛;同时,采用数据压缩技术处理上传的模型参数,减少了通信成本;此外,结合梯度追踪技术,准确追踪局部梯度与全局梯度之间的偏差,有效应对数据异质的联邦学习场景。理论方面,该文在非凸情形下给出了算法的次线性收敛率,并在强凸情形下给出了算法的线性收敛率。此外,该文将FedCOMGATE-VR用于对Fashion-MNIST和CIFAR-10数据集进行分类训练,并与已有算法在不同参数设置(步长、本地更新次数等)下进行对比实验。实验结果表明,FedCOMGATE-VR能够适应复杂的异质数据环境,且在达到相同预设训练准确率时,该算法较FedCOMGATE通信次数降低约20%,总迭代次数降低约66%,有效降低了通信和计算成本。 展开更多
关键词 联邦学习 随机梯度下降 方差缩减 数据异质
在线阅读 下载PDF
基于随机采样的方差缩减优化算法
4
作者 郭振华 闫瑞栋 +2 位作者 邱志勇 赵雅倩 李仁刚 《计算机科学与探索》 北大核心 2025年第3期667-681,共15页
随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此... 随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此,有效减小方差成为当前关键挑战。提出了一种基于小批量随机采样的方差缩减优化算法(DM-SRG),并应用于求解凸优化及非凸优化问题。算法主要特征在于设计了内外双循环结构:外循环结构采用小批量随机样本计算梯度近似全梯度,以达到减少梯度计算开销的目的;内循环结构采用小批量随机样本计算梯度并代替单样本随机梯度,提升算法收敛稳定性。针对非凸目标函数与凸目标函数,理论分析证明了DMSRG算法具有次线性收敛速率。此外,设计了基于计算单元性能评估模型的动态样本容量调整策略,以提高系统训练效率。为评估算法的有效性,分别在不同规模的真实数据集上开展了数值模拟实验。实验结果表明算法较对比算法损失函数减少18.1%并且平均耗时降低8.22%。 展开更多
关键词 随机梯度下降 方差缩减 凸优化 非凸优化 收敛速率
在线阅读 下载PDF
分布式随机方差消减梯度下降算法topkSVRG 被引量:5
5
作者 王建飞 亢良伊 +1 位作者 刘杰 叶丹 《计算机科学与探索》 CSCD 北大核心 2018年第7期1047-1054,共8页
机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(... 机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。 展开更多
关键词 机器学习 优化 随机梯度下降(SGD) 随机方差消减梯度法(SVRG) 分布式计算
在线阅读 下载PDF
基于随机方差调整梯度的非负矩阵分解 被引量:1
6
作者 史加荣 白姗姗 《吉林大学学报(理学版)》 CAS 北大核心 2021年第1期128-135,共8页
针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从... 针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从而能快速、准确地逼近最优解.在真实数据集上进行仿真实验,结果验证了该算法的可行性和有效性. 展开更多
关键词 非负矩阵分解 随机梯度下降 参数调整梯度 方差缩减 乘性更新
在线阅读 下载PDF
面向大规模数据主题建模的方差减小的随机变分推理算法 被引量:1
7
作者 刘张虎 程春玲 《计算机应用》 CSCD 北大核心 2018年第6期1675-1681,共7页
随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI... 随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI(VR-SVI)算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VRSVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。 展开更多
关键词 随机变分推理 滑动窗口 随机梯度 方差减小 主题建模
在线阅读 下载PDF
求解SVM的稀疏随机方差缩减梯度法 被引量:3
8
作者 周晓君 于腾腾 《计算机应用研究》 CSCD 北大核心 2020年第S02期95-97,101,共4页
针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高... 针对随机梯度下降(SGD)算法解支持向量机(SVM)中存在步长的选取耗时且收敛速度较慢等问题,提出使用改进的Barzilai-Borwein(BB)法自动计算小批量随机方差减小的梯度法(MSVRG)的步长,来解决光滑化合页损失函数的支持向量机问题。针对高维稀疏数据下,SVRG在外循环的迭代中因全梯度的计算而变得稠密,使用稀疏近似梯度将MSVRG-BB算法拓展得到新的算法:MSSVRG-BB。数值实验表明,MSSVRG-BB算法不仅对初始参数的选取并不敏感,且与先进的小批量算法相比,对于求解大规模高维稀疏数据的线性SVM问题,稀疏近似梯度的使用使运算成本减小进而能够更快地达到收敛上界。 展开更多
关键词 支持向量机 稀疏性 Barzilai-Borwein 小批量 随机方差减小梯度法(SVRG)
在线阅读 下载PDF
带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法 被引量:1
9
作者 秦传东 杨旭 《计算机应用研究》 CSCD 北大核心 2023年第12期3655-3659,3665,共6页
为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基... 为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 展开更多
关键词 随机梯度下降 小批量算法 Barzilai-Borwein方法 方差缩减 凸优化
在线阅读 下载PDF
非负Tucker分解的随机方差缩减乘性更新算法
10
作者 白姗姗 史加荣 《南京理工大学学报》 EI CAS CSCD 北大核心 2021年第2期197-204,共8页
为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,... 为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,最后通过梯度下降思想来更新核心张量。对高维数据进行非负Tucker分解时,加快收敛速度且降低计算复杂度,提高了张量分解性能。在人工合成数据集及真实数据集上进行数值实验,结果验证了所提算法的可行性和有效性。 展开更多
关键词 非负Tucker分解 随机方差缩减梯度算法 乘性更新 梯度下降
在线阅读 下载PDF
基于SVRGD的机载预警雷达自适应波束形成算法 被引量:4
11
作者 彭芳 吴军 +1 位作者 王帅 向建军 《系统工程与电子技术》 EI CSCD 北大核心 2021年第1期83-90,共8页
自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度... 自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度下降(stochastic variance reduction gradient descent,SVRGD)自适应波束形成方法。首先,建立面阵列接收信号数据模型。其次,基于随机梯度下降原理,引入方差缩减法通过内外循环迭代方式进行梯度修正,以减小随机梯度估计的方差,建立算法模型与实现流程。最后,通过设置平面阵列仿真场景,分析SVRGD自适应波束形成算法在波束形成、抗干扰、收敛速度等方面的性能,验证了该算法在低快拍数、强干扰和强噪声背景下具有的优良能力。 展开更多
关键词 机载预警雷达 自适应波束形成 随机梯度下降 随机方差减小梯度下降 机器学习
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部