期刊文献+
共找到15篇文章
< 1 >
每页显示 20 50 100
基于SVRG全局优化的机器人手眼标定
1
作者 王一凡 黄涛 张小明 《机床与液压》 北大核心 2025年第9期1-7,共7页
聚焦于机器人加工视觉导引中的机器人手眼关系X的精确求解。奇异值分解方法求解时易受到外界环境的干扰,传统分步标定方式将手眼关系X中的旋转矩阵和平移分量分开估计,容易导致标定误差逐渐积累。为此,提出一种基于SVRG优化方法的标定... 聚焦于机器人加工视觉导引中的机器人手眼关系X的精确求解。奇异值分解方法求解时易受到外界环境的干扰,传统分步标定方式将手眼关系X中的旋转矩阵和平移分量分开估计,容易导致标定误差逐渐积累。为此,提出一种基于SVRG优化方法的标定方法。采用Kronecker积和奇异值分解来求解标定方程,得到初步解,并随后通过SVRG迭代算法对目标函数进行进一步优化,以提升解的精确性。通过不同噪声水平以及不同标定数据数量的仿真标定试验和机器人手眼标定平台数据集进行了算法验证与分析,并与4种经典求解方法进行比较。研究结果表明,SVRG方法有效控制了迭代过程中噪声方差的收敛,其几何误差的平均值为0.564,标准差为0.271,相较其他4种经典求解方法在准确性和效率方面均具有优势,有助于提高工业机器人加工测量过程中的精度以及可靠性。 展开更多
关键词 机器人加工 全局优化 手眼标定 svrg优化
在线阅读 下载PDF
基于SVRGD的机载预警雷达自适应波束形成算法 被引量:4
2
作者 彭芳 吴军 +1 位作者 王帅 向建军 《系统工程与电子技术》 EI CSCD 北大核心 2021年第1期83-90,共8页
自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度... 自适应波束形成是机载预警雷达数字信号处理的一个关键环节。针对传统最小均方误差(least mean square,LMS)算法在短快拍数条件下的波束形成性能下降以及因迭代震荡易收敛于局部最优值的问题,提出了一种基于机器学习的随机方差减小梯度下降(stochastic variance reduction gradient descent,SVRGD)自适应波束形成方法。首先,建立面阵列接收信号数据模型。其次,基于随机梯度下降原理,引入方差缩减法通过内外循环迭代方式进行梯度修正,以减小随机梯度估计的方差,建立算法模型与实现流程。最后,通过设置平面阵列仿真场景,分析SVRGD自适应波束形成算法在波束形成、抗干扰、收敛速度等方面的性能,验证了该算法在低快拍数、强干扰和强噪声背景下具有的优良能力。 展开更多
关键词 机载预警雷达 自适应波束形成 随机梯度下降 随机方差减小梯度下降 机器学习
在线阅读 下载PDF
基于数据压缩和梯度追踪的方差缩减的联邦优化算法
3
作者 贾泽慧 李登辉 +1 位作者 刘治宇 黄洁茹 《南京理工大学学报》 北大核心 2025年第2期155-166,共12页
为克服联邦学习中的计算成本、通信成本以及数据异质等挑战,该文提出了一种基于数据压缩和梯度追踪的方差缩减的联邦优化算法(FedCOMGATE-VR)。与传统依赖简单随机梯度估计的联邦学习算法不同,FedCOMGATE-VR通过引入方差缩减的随机梯度... 为克服联邦学习中的计算成本、通信成本以及数据异质等挑战,该文提出了一种基于数据压缩和梯度追踪的方差缩减的联邦优化算法(FedCOMGATE-VR)。与传统依赖简单随机梯度估计的联邦学习算法不同,FedCOMGATE-VR通过引入方差缩减的随机梯度估计,能够使用更大的步长,从而加速算法收敛;同时,采用数据压缩技术处理上传的模型参数,减少了通信成本;此外,结合梯度追踪技术,准确追踪局部梯度与全局梯度之间的偏差,有效应对数据异质的联邦学习场景。理论方面,该文在非凸情形下给出了算法的次线性收敛率,并在强凸情形下给出了算法的线性收敛率。此外,该文将FedCOMGATE-VR用于对Fashion-MNIST和CIFAR-10数据集进行分类训练,并与已有算法在不同参数设置(步长、本地更新次数等)下进行对比实验。实验结果表明,FedCOMGATE-VR能够适应复杂的异质数据环境,且在达到相同预设训练准确率时,该算法较FedCOMGATE通信次数降低约20%,总迭代次数降低约66%,有效降低了通信和计算成本。 展开更多
关键词 联邦学习 随机梯度下降 方差缩减 数据异质
在线阅读 下载PDF
基于随机采样的方差缩减优化算法
4
作者 郭振华 闫瑞栋 +2 位作者 邱志勇 赵雅倩 李仁刚 《计算机科学与探索》 北大核心 2025年第3期667-681,共15页
随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此... 随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此,有效减小方差成为当前关键挑战。提出了一种基于小批量随机采样的方差缩减优化算法(DM-SRG),并应用于求解凸优化及非凸优化问题。算法主要特征在于设计了内外双循环结构:外循环结构采用小批量随机样本计算梯度近似全梯度,以达到减少梯度计算开销的目的;内循环结构采用小批量随机样本计算梯度并代替单样本随机梯度,提升算法收敛稳定性。针对非凸目标函数与凸目标函数,理论分析证明了DMSRG算法具有次线性收敛速率。此外,设计了基于计算单元性能评估模型的动态样本容量调整策略,以提高系统训练效率。为评估算法的有效性,分别在不同规模的真实数据集上开展了数值模拟实验。实验结果表明算法较对比算法损失函数减少18.1%并且平均耗时降低8.22%。 展开更多
关键词 随机梯度下降 方差缩减 凸优化 非凸优化 收敛速率
在线阅读 下载PDF
分布式随机方差消减梯度下降算法topkSVRG 被引量:5
5
作者 王建飞 亢良伊 +1 位作者 刘杰 叶丹 《计算机科学与探索》 CSCD 北大核心 2018年第7期1047-1054,共8页
机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(... 机器学习问题通常会转换成一个目标函数进行求解,优化算法是求解目标函数中参数的重要工具。随机梯度下降(stochastic gradient descent,SGD)是目前应用最广的算法,因其易受噪声干扰只能达到次线性收敛率,而改进后的随机方差消减梯度法(stochastic variance reduction gradient,SVRG)则可以达到线性的收敛率。SVRG是一种串行单机版算法,为了应对大规模数据集分布式训练问题,设计一种以SVRG算法思想为基础的分布式SVRG的实现算法topk SVRG。改进在于:主节点维护一个全局模型,从节点基于本地数据进行局部模型更新。每轮迭代时,选择与当前全局模型距离最小的k个局部模型进行平均来更新全局模型,参数k调大可以提高收敛速度,调小k可以保证收敛。理论分析了算法的线性收敛性,基于Spark进行算法实现,通过与Mini-Batch SGD、CoCoA、Splash及相关算法的实验比较,topkSVRG可以在高精度要求下更快地收敛。 展开更多
关键词 机器学习 优化 随机梯度下降(SGD) 随机方差消减梯度法(svrg) 分布式计算
在线阅读 下载PDF
An anti-main-lobe jamming algorithm for airborne early warning radar based on APC-SVRGD joint optimization 被引量:2
6
作者 PENG Fang WU Jun +2 位作者 WANG Shuai LI Zhijun XIANG Jianjun 《Journal of Systems Engineering and Electronics》 SCIE EI CSCD 2022年第1期134-143,共10页
Main lobe jamming seriously affects the detection performance of airborne early warning radar.The joint processing of polarization-space has become an effective way to suppress the main lobe jamming.To avoid the main ... Main lobe jamming seriously affects the detection performance of airborne early warning radar.The joint processing of polarization-space has become an effective way to suppress the main lobe jamming.To avoid the main beam distortion and wave crest migration caused by the main lobe jamming in adaptive beamforming,a joint optimization algorithm based on adaptive polarization canceller(APC)and stochastic variance reduction gradient descent(SVRGD)is proposed.First,the polarization plane array structure and receiving signal model based on primary and auxiliary array cancellation are established,and an APC iterative algorithm model is constructed to calculate the optimal weight vector of the auxiliary channel.Second,based on the stochastic gradient descent principle,the variance reduction method is introduced to modify the gradient through internal and external iteration to reduce the variance of the stochastic gradient estimation,the airspace optimal weight vector is calculated and the equivalent weight vector is introduced to measure the beamforming effect.Third,by setting up a planar polarization array simulation scene,the performance of the algorithm against the interference of the main lobe and the side lobe is analyzed,and the effectiveness of the algorithm is verified under the condition of short snapshot number and certain signal to interference plus noise ratio. 展开更多
关键词 airborne early warning radar adaptive beamforming main-lobe interference suppression adaptive polarization canceller(APC) stochastic variance reduction gradient descent(svrgD)
在线阅读 下载PDF
基于集成重要性采样的随机梯度下降算法
7
作者 张浩 鲁淑霞 《南京理工大学学报》 CAS CSCD 北大核心 2024年第3期342-350,共9页
许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这... 许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。 展开更多
关键词 集成学习 重要性采样 采样器 随机梯度下降 方差减少
在线阅读 下载PDF
基于Polyak步长的加速临近随机方差缩减算法
8
作者 王福胜 史鲁玉 《运筹学学报(中英文)》 CSCD 北大核心 2024年第2期131-142,共12页
针对大规模机器学习中随机复合优化问题,本文将加速临近随机方差缩减算法(Acc-Prox-SVRG)和Polyak步长方法相结合,提出了一种新的加速临近随机方差缩减算法(Acc-Prox-SVRG-Polyak)。相比于已有算法,新算法充分利用加速技术和Polyak步长... 针对大规模机器学习中随机复合优化问题,本文将加速临近随机方差缩减算法(Acc-Prox-SVRG)和Polyak步长方法相结合,提出了一种新的加速临近随机方差缩减算法(Acc-Prox-SVRG-Polyak)。相比于已有算法,新算法充分利用加速技术和Polyak步长的优越性,提高了准确率。在通常的假定下论证了算法的收敛性,并分析了复杂度。最后,数值实验验证了新算法的有效性。 展开更多
关键词 Polyak步长 方差缩减 机器学习 随机梯度
在线阅读 下载PDF
代价敏感惩罚AdaBoost算法的非平衡数据分类 被引量:10
9
作者 鲁淑霞 张振莲 翟俊海 《南京航空航天大学学报》 CAS CSCD 北大核心 2023年第2期339-346,共8页
针对非平衡数据分类问题,提出了一种基于代价敏感的惩罚AdaBoost算法。在惩罚Adaboost算法中,引入一种新的自适应代价敏感函数,赋予少数类样本及分错的少数类样本更高的代价值,并通过引入惩罚机制增大了样本的平均间隔。选择加权支持向... 针对非平衡数据分类问题,提出了一种基于代价敏感的惩罚AdaBoost算法。在惩罚Adaboost算法中,引入一种新的自适应代价敏感函数,赋予少数类样本及分错的少数类样本更高的代价值,并通过引入惩罚机制增大了样本的平均间隔。选择加权支持向量机(Support vector machine,SVM)优化模型作为基分类器,采用带有方差减小的随机梯度下降方法(Stochastic variance reduced gradient,SVRG)对优化模型进行求解。对比实验表明,本文提出的算法不但在几何均值(G-mean)和ROC曲线下的面积(Area under ROC curve,AUC)上明显优于其他算法,而且获得了较大的平均间隔,显示了本文算法在处理非平衡数据分类问题上的有效性。 展开更多
关键词 非平衡数据 惩罚AdaBoost 自适应代价敏感函数 平均间隔 随机梯度下降
在线阅读 下载PDF
带有方差减小的加权零阶随机梯度下降算法 被引量:6
10
作者 鲁淑霞 张罗幻 +1 位作者 蔡莲香 孙丽丽 《河北大学学报(自然科学版)》 CAS 北大核心 2019年第5期536-546,共11页
随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导... 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题. 展开更多
关键词 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机
在线阅读 下载PDF
批量减数更新方差缩减梯度下降算法BSUG 被引量:6
11
作者 宋杰 朱勇 许冰 《计算机工程与应用》 CSCD 北大核心 2020年第22期117-123,共7页
机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达... 机器学习问题通常会转换成求解一个目标函数问题。继随机梯度下降(Stochastic Gradient Descent,SGD)之后,随机方差缩减梯度法(Stochastic Variance Reduction Gradient,SVRG)成为如今优化目标函数参数的主流算法,它由于不受方差影响达到线性收敛而被人们广泛研究。它的提出导致陆续出现如SAGA(Stochastic Average Gradient Average)和SCSG(Stochastically Controlled Stochastic Gradient)等新型方差缩减算法,它们有着过量消耗内存、迭代缓慢等问题。为了实现小成本存储以及快速迭代的目的,设计了一种以SVRG为基础的新型变异方差缩减算法BSUG(Batch Subtraction Update Gradient)。改进在于:使用小批量样本代替全部样本进行平均梯度计算,同时对平均梯度进行减数更新。每轮迭代中,随机抽取一批小样本进行平均梯度计算,同时在内部迭代时通过对过去模型梯度的舍去来达到更新平均梯度的目的。通过合适地降低批大小B,可以减少内存存储以及迭代次数。理论分析算法的收敛性,并基于Python进行算法实现,通过与Mini-Batch SGD、AdaGrad、RMSProp、SVRG和SCSG等算法进行比较证明了BSUG算法的有效性,并且通过对超参数进行探究证明了算法的稳定性。 展开更多
关键词 机器学习 优化 小批量 减数更新 随机方差缩减梯度法(svrg)
在线阅读 下载PDF
基于随机方差调整梯度的非负矩阵分解 被引量:1
12
作者 史加荣 白姗姗 《吉林大学学报(理学版)》 CAS 北大核心 2021年第1期128-135,共8页
针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从... 针对求解非负矩阵分解的乘性更新规则存在计算复杂度高且迭代效率低等缺点,提出一种随机方差参数调整梯度的方法.将方差缩减策略和乘性更新规则相结合,通过引入一个调整随机梯度估计量的参数校正梯度下降方向使其偏差与方差达到平衡,从而能快速、准确地逼近最优解.在真实数据集上进行仿真实验,结果验证了该算法的可行性和有效性. 展开更多
关键词 非负矩阵分解 随机梯度下降 参数调整梯度 方差缩减 乘性更新
在线阅读 下载PDF
面向大规模数据主题建模的方差减小的随机变分推理算法 被引量:1
13
作者 刘张虎 程春玲 《计算机应用》 CSCD 北大核心 2018年第6期1675-1681,共7页
随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI... 随机变分推理(SVI)已被成功应用于在包括主题模型在内的众多类型的模型。虽然它将推理问题映射到涉及随机梯度的优化问题,使其扩展到处理大规模数据集,但是SVI算法中随机梯度固有的噪声使其产生较大的方差,阻碍了快速收敛。为此,对SVI作出改进,提出一种方差减小的SVI(VR-SVI)算法。首先,采取滑动窗口的方法重新计算随机梯度中的噪声项,构建新的随机梯度,减少了噪声对随机梯度的影响;然后,对提出的算法可在SVI基础上使得随机梯度的方差减小进行证明;最后,讨论窗口大小对算法的影响,并分析算法的收敛性。实验结果表明,VRSVI算法既减小了随机梯度的方差,又节省了计算时间,可达到快速收敛的效果。 展开更多
关键词 随机变分推理 滑动窗口 随机梯度 方差减小 主题建模
在线阅读 下载PDF
非负Tucker分解的随机方差缩减乘性更新算法
14
作者 白姗姗 史加荣 《南京理工大学学报》 EI CAS CSCD 北大核心 2021年第2期197-204,共8页
为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,... 为了降低乘性迭代算法在求解非负Tucker分解时的计算复杂度,该文在乘性迭代的基础上,提出了一种随机方差缩减乘性更新方法。该方法先将待分解的非负张量n-模式矩阵化,再运用随机方差缩减乘性更新算法对矩阵进行非负分解,得到模式矩阵,最后通过梯度下降思想来更新核心张量。对高维数据进行非负Tucker分解时,加快收敛速度且降低计算复杂度,提高了张量分解性能。在人工合成数据集及真实数据集上进行数值实验,结果验证了所提算法的可行性和有效性。 展开更多
关键词 非负Tucker分解 随机方差缩减梯度算法 乘性更新 梯度下降
在线阅读 下载PDF
带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法 被引量:1
15
作者 秦传东 杨旭 《计算机应用研究》 CSCD 北大核心 2023年第12期3655-3659,3665,共6页
为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基... 为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 展开更多
关键词 随机梯度下降法 小批量算法 Barzilai-Borwein方法 方差缩减 凸优化
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部