对抗环境下拜占庭鲁棒的分布式纵向学习

1

作者 韩冬昱 刘坤 +2 位作者 曹渊 王璐瑶 夏元清 《指挥与控制学报》 北大核心 2025年第5期560-568,共9页

考虑分布式机器学习中数据样本纵向划分的问题,提出一种对抗环境下拜占庭鲁棒的分布式纵向学习算法。根据Fenchel对偶理论将存在耦合的分布式纵向学习的原问题转化为可分离的对偶问题,并基于鲁棒随机聚合技术提出一种分布式纵向学习算... 考虑分布式机器学习中数据样本纵向划分的问题,提出一种对抗环境下拜占庭鲁棒的分布式纵向学习算法。根据Fenchel对偶理论将存在耦合的分布式纵向学习的原问题转化为可分离的对偶问题,并基于鲁棒随机聚合技术提出一种分布式纵向学习算法。通过选取合适的惩罚系数,证明所提算法的不动点与对偶问题最优解的等价性。通过数值仿真验证所提算法的优越性。 展开更多

关键词 分布式优化 纵向学习 拜占庭攻击 鲁棒随机聚合 近端梯度法

在线阅读 下载PDF 职称材料

带大量凸约束的随机优化问题的随机增广拉格朗日算法

2

作者 赵文深 韩丛英 金玲子 《中国科学院大学学报(中英文)》 北大核心 2025年第1期26-42,共17页

随机梯度法广泛应用于机器学习并取得显著成功,但许多随机方法主要针对无约束或简单约束的优化问题。对于带有正则项和大量凸约束的非凸随机优化问题,经典增广拉格朗日法是一种解法,但精确梯度信息的要求使其难以有效应对大量约束问题... 随机梯度法广泛应用于机器学习并取得显著成功,但许多随机方法主要针对无约束或简单约束的优化问题。对于带有正则项和大量凸约束的非凸随机优化问题,经典增广拉格朗日法是一种解法,但精确梯度信息的要求使其难以有效应对大量约束问题。为此,提出一种随机增广拉格朗日算法,该算法用随机一阶信息代替增广拉格朗日法的精确梯度,每步迭代仅使用一组抽样梯度和部分的约束梯度。对该算法,证明其可以在■(∈^(-8))次方后找到-KKT近似点。在多分类Neyman-Pearson问题上进行数值实验,实验结果验证了算法的有效性。 展开更多

关键词 随机梯度法 增广拉格朗日法 非线性优化 约束优化

在线阅读 下载PDF 职称材料

基于算力-能量全分布式在线共享的5G网络负荷管理策略 被引量：4

3

作者 孙毅 陈恺 +4 位作者 郑顺林 王文婷 于芃 李开灿 董文秀 《电力系统保护与控制》 EI CSCD 北大核心 2024年第9期154-165,共12页

5G与边缘计算等信息基础设施海量部署造成运营商用电成本上升,需推动边缘网络与电网的能量互动以节能降本。现有研究重点关注边缘网络参与日前经济调度,未考虑可再生能源和网络流量双重随机性造成的网络能量供需不平衡问题。针对强随机... 5G与边缘计算等信息基础设施海量部署造成运营商用电成本上升,需推动边缘网络与电网的能量互动以节能降本。现有研究重点关注边缘网络参与日前经济调度,未考虑可再生能源和网络流量双重随机性造成的网络能量供需不平衡问题。针对强随机环境下的网络负荷管理问题,提出面向虚拟化边缘网络的能量实时管理策略。首先,以网络用能成本最小化为目标,构建联合网络资源管理、储能充放电与能量共享模型。其次,针对未来网络信息未知无法直接求解的问题,提出基于随机对偶次梯度法的在线管理策略。然后,针对资源共享涉及运营商隐私问题,提出全分布式的计算资源与能量协同共享算法。最后,仿真验证表明,所提在线算法在无需先验知识的前提下有效减少了5G边缘网络的用能成本。 展开更多

关键词 5G通信 在线调度 信息能量耦合 资源共享 随机对偶次梯度法 联邦梯度下降法

在线阅读 下载PDF 职称材料

求解一类非光滑凸优化问题的相对加速SGD算法

4

作者 张文娟 冯象初 +2 位作者 肖锋 黄姝娟 李欢 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2024年第3期147-157,共11页

一阶优化算法由于其计算简单、代价小,被广泛应用于机器学习、大数据科学、计算机视觉等领域,然而,现有的一阶算法大多要求目标函数具有Lipschitz连续梯度,而实际中的很多应用问题不满足该要求。在经典的梯度下降算法基础上,引入随机和... 一阶优化算法由于其计算简单、代价小,被广泛应用于机器学习、大数据科学、计算机视觉等领域,然而,现有的一阶算法大多要求目标函数具有Lipschitz连续梯度,而实际中的很多应用问题不满足该要求。在经典的梯度下降算法基础上,引入随机和加速,提出一种相对加速随机梯度下降算法。该算法不要求目标函数具有Lipschitz连续梯度,而是通过将欧氏距离推广为Bregman距离,从而将Lipschitz连续梯度条件减弱为相对光滑性条件。相对加速随机梯度下降算法的收敛性与一致三角尺度指数有关,为避免调节最优一致三角尺度指数参数的工作量,给出一种自适应相对加速随机梯度下降算法。该算法可自适应地选取一致三角尺度指数参数。对算法收敛性的理论分析表明,算法迭代序列的目标函数值收敛于最优目标函数值。针对Possion反问题和目标函数的Hessian阵算子范数随变量范数多项式增长的极小化问题的数值实验表明,自适应相对加速随机梯度下降算法和相对加速随机梯度下降算法的收敛性能优于相对随机梯度下降算法。 展开更多

关键词 凸优化 非光滑优化 相对光滑 随机规划 梯度方法 加速随机梯度下降

在线阅读 下载PDF 职称材料

随机共轭梯度反演法 被引量：9

5

作者 朱培民 王家映 +2 位作者 詹正彬 顾汉明 朱光明 《石油地球物理勘探》 EI CSCD 北大核心 2000年第2期208-213,共6页

本文提出一种新的非线性反演方法——随机共轭梯度法。该方法采用非启发式反演方法 ,快速收敛到某一极值 ;再用启发式反演方法跳出局部极值 ;然后使用非启发式反演方法收敛到另一局部极值 ,反复进行此过程 ;并在解空间范围内搜索 ,保留... 本文提出一种新的非线性反演方法——随机共轭梯度法。该方法采用非启发式反演方法 ,快速收敛到某一极值 ;再用启发式反演方法跳出局部极值 ;然后使用非启发式反演方法收敛到另一局部极值 ,反复进行此过程 ;并在解空间范围内搜索 ,保留所有的局部极值 ,最终确定最优解。它继承了随机爬山能够全局寻优、共轭梯度法计算速度快和精度高的优点 ,能快速搜索到全局最优解。试验证明 ,这种方法是一种高效的反演算法 ,特别适用于求解非线性、多极值的最优化问题和地球物理反问题。 展开更多

关键词 随机共轭梯度法 地球物理勘探 反演

在线阅读 下载PDF 职称材料

基于随机梯度法的选择性神经网络二次集成 被引量：5

6

作者 施彦 黄聪明 侯朝桢 《计算机工程》 CAS CSCD 北大核心 2004年第16期133-135,159,共4页

针对使用贪心法、遗传算法等方法实现选择性神经网络集成时出现的“局部最小点”和“过拟合”问题,提出了一类基于随机梯度法的选择性神经网络二次集成方法。理论分析和实验表明,与上述选择性神经网络集成方法相比,该方法易于实现且效... 针对使用贪心法、遗传算法等方法实现选择性神经网络集成时出现的“局部最小点”和“过拟合”问题,提出了一类基于随机梯度法的选择性神经网络二次集成方法。理论分析和实验表明,与上述选择性神经网络集成方法相比,该方法易于实现且效果明显。 展开更多

关键词 神经网络集成 二次集成 贪心法 随机梯度法

在线阅读 下载PDF 职称材料

基于偏振鉴相的相干合成技术 被引量：5

7

作者 颜宏 叶一东 +1 位作者 卢飞 蒋茂华 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第B05期5-8,共4页

推导了偏振相干合成后任意方向检偏的光强受束间相位差调制的解析表达式,并通过实验验证了表达式的正确性。开展了基于偏振鉴相的相干合成实验研究,用梯度下降算法锁定了两束激光的相位,获得了稳定的输出功率,验证了基于偏振鉴相的相干... 推导了偏振相干合成后任意方向检偏的光强受束间相位差调制的解析表达式,并通过实验验证了表达式的正确性。开展了基于偏振鉴相的相干合成实验研究,用梯度下降算法锁定了两束激光的相位,获得了稳定的输出功率,验证了基于偏振鉴相的相干合成技术可行性;分析了基于偏振鉴相的相干合成技术的优点和对激光器的要求;提出了一种基于偏振鉴相的可定标放大全口径相干合成方法,采用多探测器和多级并行相位调制的方法,解决了随机并行梯度下降(SPGD)算法闭环带宽随合成光束数增加而快速退化的问题。 展开更多

关键词 偏振相干合成 相位探测 随机并行梯度下降算法 外差法

在线阅读 下载PDF 职称材料

随机有限层理论及其在地基沉降可靠度计算中的应用 被引量：5

8

作者 汪莹鹤 王保田 梅国雄 《岩土工程学报》 EI CAS CSCD 北大核心 2009年第2期282-286,共5页

基于比奥固结理论,将土体视为横观各向同性弹性体,土性参数考虑为随机变量,结合梯度优化法和有限层理论,推导出随机有限层的理论计算公式。根据理论推导,编制了随机有限层的计算程序,程序中采用了二级分层技术,使得计算更加合理。采用Ma... 基于比奥固结理论,将土体视为横观各向同性弹性体,土性参数考虑为随机变量,结合梯度优化法和有限层理论,推导出随机有限层的理论计算公式。根据理论推导,编制了随机有限层的计算程序,程序中采用了二级分层技术,使得计算更加合理。采用Matlab软件自带的GUI工具进行界面设计,利用Matlab与VisualC++接口技术,实现VisualC++和Matlab的混合编程,编制出可独立运行的随机有限层可视化程序。最后进行了算例分析,计算结果表明:这种方法是可行性,为地基沉降可靠度计算提供了一种新方法,值得进一步进行研究。 展开更多

关键词 随机有限层 沉降 可靠度 梯度优化法 蒙特卡罗法

在线阅读 下载PDF 职称材料

基于共轭梯度法的蒙特卡洛随机有限元方法 被引量：4

9

作者 杨杰 陈虬 《西南交通大学学报》 EI CSCD 北大核心 2002年第6期647-650,共4页

将共轭梯度法引入蒙特卡洛随机有限元法,建立基于多项式预处理共轭梯度法的蒙特卡洛随机有限元方法。求解某一特征样本,对于其余样本,采用把特征样本作为预处理阵的多项式预处理共轭梯度法。将该方法与基于Neumann法的随机有限元方法作... 将共轭梯度法引入蒙特卡洛随机有限元法,建立基于多项式预处理共轭梯度法的蒙特卡洛随机有限元方法。求解某一特征样本,对于其余样本,采用把特征样本作为预处理阵的多项式预处理共轭梯度法。将该方法与基于Neumann法的随机有限元方法作比较,从理论上证明了Neumann法是基于多项式预处理共轭梯度随机有限元方法的一个退化算法。最后算例比较也验证了该方法有更高的求解效率。 展开更多

关键词 蒙特卡洛随机有限元方法 共轭梯度法 蒙特卡洛法 Neumann法 多项式预处理 特征样本

在线阅读 下载PDF 职称材料

基于共轭梯度法带隔板连续薄壁直箱位移参数的动态Bayes估计 被引量：5

10

作者 张剑 叶见曙 王承强 《计算力学学报》 EI CAS CSCD 北大核心 2008年第4期574-580,共7页

推导了简支薄壁直箱有限条元控制方程,并结合柔度理论解决了带隔板连续薄壁直箱的超静定问题。基于Bayes定理,建立了带隔板连续薄壁直箱位移参数的动态Bayes误差函数,推导了相应的位移参数计算公式,并应用共轭梯度法研究了带隔板连续薄... 推导了简支薄壁直箱有限条元控制方程,并结合柔度理论解决了带隔板连续薄壁直箱的超静定问题。基于Bayes定理,建立了带隔板连续薄壁直箱位移参数的动态Bayes误差函数,推导了相应的位移参数计算公式,并应用共轭梯度法研究了带隔板连续薄壁直箱位移参数的动态Bayes估计方法,同时给出了连续薄壁直箱位移参数的具体估计步骤,编制了相应的计算程序。通过典型算例分析可知,联合有限条元法和共轭梯度法进行带隔板连续薄壁直箱位移参数的动态Bayes估计是可行的,只需利用若干测点位移即能同时进行多参数估计,且先验信息合理时,迭代过程稳定地收敛于位移参数实际值。 展开更多

关键词 带隔板连续薄壁直箱 有限条元法 位移参数 动态Bayes估计 共轭梯度法

在线阅读 下载PDF 职称材料

斜拉桥体系可靠度分析 被引量：4

11

作者 李伟 颜全胜 王頠 《沈阳工业大学学报》 EI CAS 2010年第2期235-240,共6页

针对大跨度斜拉桥体系可靠度分析中由于失效模式众多带来的困难,结合某独塔斜拉桥的工程实例,应用β约界法搜索对结构失效概率起关键作用的主要失效模式,研究了斜拉桥2级体系可靠度.在搜索主要失效模式的各失效历程中,采用梯度分析随机... 针对大跨度斜拉桥体系可靠度分析中由于失效模式众多带来的困难,结合某独塔斜拉桥的工程实例,应用β约界法搜索对结构失效概率起关键作用的主要失效模式,研究了斜拉桥2级体系可靠度.在搜索主要失效模式的各失效历程中,采用梯度分析随机有限元法计算斜拉桥主塔、主梁和斜拉索各个单元的可靠度指标,应用β约界法确定失效候选单元,将斜拉桥结构体系的失效等效为一个由若干并联子系统构成的串联系统.计算结果表明,斜拉索的失效对整个斜拉桥结构体系的失效起控制作用. 展开更多

关键词 斜拉桥 体系可靠度 梯度 随机有限元法 β约界法 斜拉索 串-并联系统 一次可靠度方法

在线阅读 下载PDF 职称材料

多指标推荐的全局邻域模型 被引量：2

12

作者 吕红亮 王劲林 邓峰 《西安交通大学学报》 EI CAS CSCD 北大核心 2012年第11期98-105,共8页

针对现有的多指标推荐模型预测精度较低、速度较慢的问题,提出一种多指标推荐的全局邻域模型(MGNgbr).该模型综合全局的打分信息和隐性反馈数据,通过随机梯度下降法学习物品在各个指标上的相似度,选择相似度最高的前k个邻居参与运算并... 针对现有的多指标推荐模型预测精度较低、速度较慢的问题,提出一种多指标推荐的全局邻域模型(MGNgbr).该模型综合全局的打分信息和隐性反馈数据,通过随机梯度下降法学习物品在各个指标上的相似度,选择相似度最高的前k个邻居参与运算并最终预测用户对物品的打分信息.该模型具有预测准确度高、解释性好、计算复杂度低等优点.实验结果表明,该模型的预测准确度和分类准确度均优于现有的平均值融合模型、多维距离模型和多维奇异值分解模型,与多维奇异值分解模型相比,该模型还具有收敛快、运行时间短等优点. 展开更多

关键词 随机梯度下降法 全局邻域模型 多指标推荐

在线阅读 下载PDF 职称材料

分布式参数系统的随机梯度辨识 被引量：2

13

作者 陈晶 刘艳君 《控制工程》 CSCD 北大核心 2018年第3期472-476,共5页

针对分布参数系统提出了随机梯度辨识算法。借助有限差分方法将分布参数系统简化为集中参数系统，通过随机梯度算法辨识出集中参数系统的参数。为提高参数收敛速度，提出带遗忘因子的随机梯度算法。最后，根据辨识出的集中参数系统的参... 针对分布参数系统提出了随机梯度辨识算法。借助有限差分方法将分布参数系统简化为集中参数系统，通过随机梯度算法辨识出集中参数系统的参数。为提高参数收敛速度，提出带遗忘因子的随机梯度算法。最后，根据辨识出的集中参数系统的参数计算出分布参数系统的待辨识参数。仿真结果验证了该方法的有效性。 展开更多

关键词 参数估计 分布参数系统 随机梯度 有限差分方法 遗忘因子

在线阅读 下载PDF 职称材料

基于时域的多新息随机梯度法VSG参数辨识 被引量：1

14

作者 朱军 曲玉博 +3 位作者 刘鹏辉 郭向伟 杜少通 杨明 《电气工程学报》 CSCD 2022年第1期78-85,共8页

针对采用虚拟同步发电机技术(Virtual synchronous generator,VSG)控制的新能源并网逆变器,提出一种基于统一模型的VSG实际输出惯性和阻尼的辨识方法,定量评估逆变器提供给大电网的惯性和阻尼。首先分析不同的VSG接建模方法,建立统一的... 针对采用虚拟同步发电机技术(Virtual synchronous generator,VSG)控制的新能源并网逆变器,提出一种基于统一模型的VSG实际输出惯性和阻尼的辨识方法,定量评估逆变器提供给大电网的惯性和阻尼。首先分析不同的VSG接建模方法,建立统一的VSG控制模型结构,然后提出一种适用于时域的多新息随机梯度法VSG关键参数的辨识方法,利用指令功率阶跃激励出系统功率动态信息,根据所推导的VSG控制模型参数之间的关系,动态地辨识出系统输出的惯性和等效阻尼参数,然后分析辨识模型的误差。最后,通过仿真验证与对比证明所提方法的有效性。 展开更多

关键词 虚拟同步发电机 惯性 阻尼 参数辨识 多新息随机梯度法

在线阅读 下载PDF 职称材料

非凸极小极大问题的优化算法与复杂度分析 被引量：6

15

作者 徐姿 张慧灵 《运筹学学报》 CSCD 北大核心 2021年第3期74-86,共13页

非凸极小极大问题是近期国际上优化与机器学习、信号处理等交叉领域的一个重要研究前沿和热点,包括对抗学习、强化学习、分布式非凸优化等前沿研究方向的一些关键科学问题都归结为该类问题。国际上凸-凹极小极大问题的研究已取得很好的... 非凸极小极大问题是近期国际上优化与机器学习、信号处理等交叉领域的一个重要研究前沿和热点,包括对抗学习、强化学习、分布式非凸优化等前沿研究方向的一些关键科学问题都归结为该类问题。国际上凸-凹极小极大问题的研究已取得很好的成果,但非凸极小极大问题不同于凸-凹极小极大问题,是有其自身结构的非凸非光滑优化问题,理论研究和求解难度都更具挑战性,一般都是NP-难的。重点介绍非凸极小极大问题的优化算法和复杂度分析方面的最新进展。 展开更多

关键词 极小极大优化问题 复杂度分析 一阶算法 (随机)梯度下降上升算法 交替梯度投影算法 非凸优化 机器学习

在线阅读 下载PDF 职称材料

随机有限元分析的二级区域分解并行求解算法 被引量：1

16

作者 付朝江 《应用力学学报》 CAS CSCD 北大核心 2012年第4期475-480,490,共6页

采用蒙特卡罗模拟(MCS)和加权积分法对二维问题进行随机有限元分析。尽管MCS方法对任何有确定解的问题都具有求解精度高的优点,但由于求解所需的计算量巨大使其应用受到限制。利用并行求解技术可有效地处理这种密集型计算问题。基于有... 采用蒙特卡罗模拟(MCS)和加权积分法对二维问题进行随机有限元分析。尽管MCS方法对任何有确定解的问题都具有求解精度高的优点,但由于求解所需的计算量巨大使其应用受到限制。利用并行求解技术可有效地处理这种密集型计算问题。基于有限元分裂对接法(FETI)的并行特性并利用预处理共轭梯度法(PCG)的求解高效性,结合整体子区域实现(GSI-PCG)和FETI法,提出二级求解算法,并在工作站机群上实现了数值算例。算例计算结果表明本文GSI(PCG)-FETI算法具有较高的并行加速比和并行效率,具有良好的性能,可有效地进行二维问题的随机有限元分析。 展开更多

关键词 蒙特卡罗模拟 随机有限元 共轭梯度法 并行计算 有限元分裂对接法

在线阅读 下载PDF 职称材料

基于KL散度和近邻点间距离的球面嵌入算法 被引量：5

17

作者 张变兰 路永钢 张海涛 《计算机应用》 CSCD 北大核心 2017年第3期680-683,690,共5页

针对现有球面嵌入算法在非近邻点间的距离度量不准确或缺失的情况下,不能有效地进行低维嵌入的问题,提出了一种新的球面嵌入算法,它能够只利用近邻点间的距离,将任何尺度的高维数据嵌入到单位球面上,同时求出适合原始数据分布的球面半... 针对现有球面嵌入算法在非近邻点间的距离度量不准确或缺失的情况下,不能有效地进行低维嵌入的问题,提出了一种新的球面嵌入算法,它能够只利用近邻点间的距离,将任何尺度的高维数据嵌入到单位球面上,同时求出适合原始数据分布的球面半径。该算法从一个随机产生的球面分布开始,利用KL散度衡量每对近邻点间的归一化距离在原始空间和球面空间中的差异,并基于此差异构建出目标函数,然后再用带有动量的随机梯度下降法,不断优化球面上点的分布,直到结果稳定。为了测试算法,模拟产生了两类球面分布数据:分别是球面均匀分布和球面正态分布的数据。实验结果表明,对于球面均匀分布的数据,即使在近邻点个数很少的情况下,仍然能够将数据准确地嵌入球面空间,嵌入后的数据分布与原始数据分布的均方根误差(RMSE)低于0.000 01,且球面半径的估算误差低于0.000 001;而对于球面正态分布的数据,在近邻点个数较多的情况下,该算法也可以将数据较准确地嵌入球面空间。因此,在非近邻点间距离缺失的情况下,所提方法仍然可以较准确地对数据进行低维嵌入,这非常有利于数据的可视化研究。 展开更多

关键词 球面嵌入 KL散度 随机梯度下降法 最近邻

在线阅读 下载PDF 职称材料

改进的LeNet-5模型在花卉识别中的应用 被引量：16

18

作者 吴丽娜 王林山 《计算机工程与设计》 北大核心 2020年第3期850-855,共6页

为提高花卉图像的识别率,实现良好的花卉分类效果,提出一类改进型LeNet-5卷积神经网络模型。将原LeNet-5卷积神经网络模型的S4层与C5层之间的连接方式改为全连接,将S2层、S4层的池化操作分别设置为均值池化、最大池化。在此基础上采用... 为提高花卉图像的识别率,实现良好的花卉分类效果,提出一类改进型LeNet-5卷积神经网络模型。将原LeNet-5卷积神经网络模型的S4层与C5层之间的连接方式改为全连接,将S2层、S4层的池化操作分别设置为均值池化、最大池化。在此基础上采用随机梯度下降方法和Dropout防止过度拟合的方法相结合的算法,对Oxford-17花卉数据集进行仿真实验。实验结果表明,改进型LeNet-5卷积神经网络有效且可行,该模型对花卉图像的识别率高达96.5%,与未改进的LeNet-5卷积神经网络模型相比,识别率提高了6.5%。 展开更多

关键词 卷积神经网络 全连接 随机梯度下降 Dropout正则化方法 仿真

在线阅读 下载PDF 职称材料

基于在线核聚类的雷达信号分选方法 被引量：2

19

作者 于新星 王永 《计算机工程》 CAS CSCD 2012年第3期270-272,275,共4页

提出一种变参数在线核聚类算法(OKCAP),将其应用于未知雷达辐射源信号分选中。OKCAP基于支持向量机的思想,采用核映射技术将数据映射到高维线性空间中进行处理,利用随机梯度下降法更新类的边界函数,且梯度下降步长和惩罚项参数可根据雷... 提出一种变参数在线核聚类算法(OKCAP),将其应用于未知雷达辐射源信号分选中。OKCAP基于支持向量机的思想,采用核映射技术将数据映射到高维线性空间中进行处理,利用随机梯度下降法更新类的边界函数,且梯度下降步长和惩罚项参数可根据雷达信号动态调整,从而实现雷达辐射源信号的在线分选。仿真结果证明,该方法具有较快的聚类分选速度和较高的分选准确率。 展开更多

关键词 信号分选 在线聚类 核方法 支持向量机 随机梯度下降

在线阅读 下载PDF 职称材料

AdaSVRG:自适应学习率加速SVRG 被引量：5

20

作者 吉梦 何清龙 《计算机工程与应用》 CSCD 北大核心 2022年第9期83-90,共8页

在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想... 在深度学习任务中,随机方差衰减梯度法通过降低随机梯度方差,因此,其具有较好的稳定性和较高的计算效率。然而,这类方法在学习过程中均使用恒定的学习率,降低了随机方差衰减梯度法的计算效率。基于随机方差衰减梯度法,借鉴动量加速思想并对梯度估计采取加权平均策略,对学习率利用历史梯度信息进行自动调整,提出了自适应随机方差衰减梯度法。基于MNIST和CIFAR-10数据集,验证提出的自适应随机方差衰减梯度法的有效性。实验结果表明,自适应随机方差衰减梯度法在收敛速度和稳定性方面优于随机方差衰减梯度法和随机梯度下降法。 展开更多

关键词 深度学习 随机方差衰减梯度法 自适应学习率 动量法

在线阅读 下载PDF 职称材料