分布式训练系统及其优化算法综述 被引量：9

1

作者 王恩东 闫瑞栋 +1 位作者 郭振华 赵雅倩 《计算机学报》 EI CAS CSCD 北大核心 2024年第1期1-28,共28页

人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本... 人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向. 展开更多

关键词 分布式训练系统 (去)中心化架构 中心化架构算法 (异)同步算法 并行随机梯度下降 收敛速率

在线阅读 下载PDF 职称材料

激光相干合成系统中SPGD算法的分阶段自适应优化

2

作者 郑文慧 祁家琴 +6 位作者 江文隽 谭贵元 胡奇琪 高怀恩 豆嘉真 邸江磊 秦玉文 《红外与激光工程》 EI CSCD 北大核心 2024年第9期303-315,共13页

为改善传统随机并行梯度下降(Stochastic Parallel Gradient Descent,SPGD)算法应用于大规模激光相干合成系统时收敛速度慢且易陷入局部最优解的情况,提出了一种分阶段自适应增益SPGD算法-Staged SPGD算法。该算法根据性能评价函数值,... 为改善传统随机并行梯度下降(Stochastic Parallel Gradient Descent,SPGD)算法应用于大规模激光相干合成系统时收敛速度慢且易陷入局部最优解的情况,提出了一种分阶段自适应增益SPGD算法-Staged SPGD算法。该算法根据性能评价函数值,在不同收敛时期采用不同策略对增益系数进行自适应调整,同时引入含梯度更新因子的控制电压更新策略,在加快收敛速度的同时减少算法陷入局部极值的概率。实验结果表明:在19路激光相干合成系统中,与传统SPGD算法相比,Staged SPGD算法的收敛速度提升了36.84%,针对不同频率和幅度的相位噪声,算法也具有较优的收敛效果,且稳定性得到显著提升。此外,将Staged SPGD算法直接应用于37、61、91路相干合成系统时,Staged SPGD算法相比传统SPGD算法收敛速度分别提升了37.88%、40.85%和41.10%,提升效果随相干合成单元数增加而更加显著,表明该算法在收敛速度、稳定性和扩展性方面均具有一定优势,具备扩展到大规模相干合成系统的潜力。 展开更多

关键词 激光相干合成 相位控制 随机并行梯度下降算法 SPGD算法

在线阅读 下载PDF 职称材料

一类自适应梯度裁剪的差分隐私随机梯度下降算法 被引量：1

3

作者 张家棋 李觉友 《运筹学学报（中英文）》 CSCD 北大核心 2024年第2期47-57,共11页

梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数... 梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数平均策略对梯度裁剪参数进行自适应动态调整,进而提出一类自适应梯度裁剪的差分隐私随机梯度下降算法。其次,在非凸目标函数的情况下对提出的自适应算法给出收敛性分析和隐私性分析。最后,在MNIST、Fasion-MNIST和IMDB数据集上进行数值仿真。其结果表明,与传统梯度裁剪算法相比,本文提出的自适应梯度裁剪算法显著提高了模型精度。 展开更多

关键词 随机梯度下降算法 差分隐私 梯度裁剪 自适应性

在线阅读 下载PDF 职称材料

自适应光学系统几种随机并行优化控制算法比较 被引量：35

4

作者 杨慧珍 李新阳 姜文汉 《强激光与粒子束》 EI CAS CSCD 北大核心 2008年第1期11-16,共6页

直接对系统性能指标进行优化是自适应光学系统中一种重要的波前畸变校正方法,选择合适的随机并行优化控制算法是该技术成功实现的关键。以32单元变形镜为校正器,基于多种随机并行优化算法建立自适应光学系统仿真模型。从算法的收敛速度... 直接对系统性能指标进行优化是自适应光学系统中一种重要的波前畸变校正方法,选择合适的随机并行优化控制算法是该技术成功实现的关键。以32单元变形镜为校正器,基于多种随机并行优化算法建立自适应光学系统仿真模型。从算法的收敛速度、校正效果、局部极值3个方面对遗传算法、单向扰动随机并行梯度下降、双向扰动随机并行梯度下降及模拟退火算法进行了比较。仿真结果表明,遗传算法收敛速度太慢,不适用于需要实时控制的自适应光学系统;双向扰动随机并行梯度下降算法收敛速度、校正效果要优于单向扰动随机并行梯度下降,且能够适应各种情况下的扰动电压;模拟退火几乎以概率1收敛到全局极值附近,且收敛速度是上述算法中最快的。 展开更多

关键词 自适应光学系统 随机并行梯度下降算法 模拟退火 遗传算法 数值仿真

在线阅读 下载PDF 职称材料

32路光纤激光相干阵列的相位锁定 被引量：11

5

作者 粟荣涛 周朴 +2 位作者 王小林 马阎星 许晓军 《强激光与粒子束》 EI CAS CSCD 北大核心 2014年第11期1-2,共2页

报道了32路光纤激光相干阵列的相位锁定实验研究。搭建了32路光纤激光相干阵列实验系统,基于现场可编程逻辑阵列(FPGA)设计制作了高速高精度相位控制器。当相位控制器执行随机并行梯度下降(SPGD)算法对各路激光的相位进行锁定时,相干阵... 报道了32路光纤激光相干阵列的相位锁定实验研究。搭建了32路光纤激光相干阵列实验系统,基于现场可编程逻辑阵列(FPGA)设计制作了高速高精度相位控制器。当相位控制器执行随机并行梯度下降(SPGD)算法对各路激光的相位进行锁定时,相干阵列输出的激光功率与不进行相位锁定时相比提高了约26倍。 展开更多

关键词 相干合成 光纤激光 相位锁定 随机并行梯度下降算法

在线阅读 下载PDF 职称材料

模拟退火算法光纤放大器相干合成 被引量：10

6

作者 周朴 马阎星 +3 位作者 王小林 马浩统 许晓军 刘泽金 《强激光与粒子束》 EI CAS CSCD 北大核心 2010年第5期973-977,共5页

提出了利用模拟退火算法实现相干合成的思路。对利用模拟退火算法实现多路光纤放大器相干合成进行了数值模拟,验证了方法的有效性,并分析了算法收敛速度与合成光束数目的关系。进行了两路W量级光纤放大器相干合成的实验,结果表明,模拟... 提出了利用模拟退火算法实现相干合成的思路。对利用模拟退火算法实现多路光纤放大器相干合成进行了数值模拟,验证了方法的有效性,并分析了算法收敛速度与合成光束数目的关系。进行了两路W量级光纤放大器相干合成的实验,结果表明,模拟退火算法能够有效控制各路光纤激光的相位,系统闭环将目标圆孔内的能量提高了1.8倍,并使得目标圆孔内能量大于理想值80%的概率从19.4%提升到了51.3%,取得了较为明显的相干合成效果。 展开更多

关键词 光纤放大器 相干合成 模拟退火算法 主动相位控制 随机并行梯度下降算法

在线阅读 下载PDF 职称材料

自适应光学系统SPGD控制算法的FPGA硬件实现 被引量：10

7

作者 张金宝 陈波 +1 位作者 王彩霞 李新阳 《光电工程》 CAS CSCD 北大核心 2009年第9期46-51,共6页

针对随机并行梯度下降(SPGD)算法实时性强,同时具有一定的灵活性的要求,本文提出了一种基于FPGA的SPGD算法硬件实现方法。该方法首先划分了各功能模块,然后对关键模块进行了实时化处理,并使用"流水线"和RAM技术设计了可升级... 针对随机并行梯度下降(SPGD)算法实时性强,同时具有一定的灵活性的要求,本文提出了一种基于FPGA的SPGD算法硬件实现方法。该方法首先划分了各功能模块,然后对关键模块进行了实时化处理,并使用"流水线"和RAM技术设计了可升级和扩展的变形镜控制模块。最后将该算法实现并应用到61单元自适应光学激光实验中,结果表明本文的设计可使用不同的性能指标实现变形镜的SPGD算法闭环控制,并能同时完成倾斜镜的控制,达到了实时性和灵活性的要求。 展开更多

关键词 自适应光学 SPGD算法 FPGA 变形镜

在线阅读 下载PDF 职称材料

光纤激光相干合成高速高精度相位控制器 被引量：6

8

作者 粟荣涛 周朴 +2 位作者 王小林 韩凯 许晓军 《强激光与粒子束》 EI CAS CSCD 北大核心 2012年第6期1290-1294,共5页

基于随机并行梯度下降算法(SPGD)和现场可编程逻辑阵列(FPGA)设计制作了相干合成(CBC)相位控制器。理论分析表明,该控制器单次迭代速率大于1.125MHz,对于2路和16路相干合成,其平均控制带宽的理论值分别大于70kHz和9kHz,与现有的SPGD算... 基于随机并行梯度下降算法(SPGD)和现场可编程逻辑阵列(FPGA)设计制作了相干合成(CBC)相位控制器。理论分析表明,该控制器单次迭代速率大于1.125MHz,对于2路和16路相干合成,其平均控制带宽的理论值分别大于70kHz和9kHz,与现有的SPGD算法相位控制器相比有了量级上的提高。利用该控制器进行了验证性实验,表明该控制器能够实现高速高精度相位控制。当利用相位控制器对两路激光的相位进行锁定时,目标圆孔内能量提高了1.51倍,远场光斑对比度提高了5.29倍。 展开更多

关键词 光纤激光器 相干合成 随机并行梯度下降算法 相位控制器 现场可编程逻辑阵列

在线阅读 下载PDF 职称材料

自适应光学系统随机并行梯度下降算法 被引量：5

9

作者 马慧敏 张鹏飞 +2 位作者 张京会 范承玉 王英俭 《强激光与粒子束》 EI CAS CSCD 北大核心 2010年第6期1206-1210,共5页

随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取... 随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取及校正情况。仿真结果表明：算法收敛速度很大程度上依赖于增益系数和扰动幅度值,对畸变较大的波前,随机扰动幅度在0.50~0.85范围内,性能指标采用焦斑平均半径比采用斯特列尔比取得的校正效果好。 展开更多

关键词 自适应光学 随机并行梯度下降算法 数值仿真 波前畸变

在线阅读 下载PDF 职称材料

基于随机并行梯度下降算法的湍流像差校正仿真 被引量：5

10

作者 马慧敏 张京会 +1 位作者 张鹏飞 范承玉 《红外与激光工程》 EI CSCD 北大核心 2011年第9期1738-1742,共5页

随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找... 随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找到补偿湍流像差所需的倾斜镜和变形镜的最优面形。采用SPGD算法控制,倾斜镜校正后,远场光斑质心更靠近轴心而且轴上斯特列尔比有所提高;倾斜镜和变形镜共同校正比变形镜单独校正的效果好,这也说明倾斜镜的校正是有效的。 展开更多

关键词 自适应光学 随机并行梯度下降算法 湍流

在线阅读 下载PDF 职称材料

基于Zernike模式的随机并行梯度下降算法的收敛速率 被引量：6

11

作者 王卫兵 赵帅 +1 位作者 郭劲 王挺峰 《中国光学》 EI CAS 2012年第4期407-415,共9页

为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特... 为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特列尔比(SR)达到0.8时,需要算法迭代660次,简化了算法的运算过程,加快了算法运行时间。通过Matlab7.8.0对6种SPGD算法进行仿真对比,结果显示:当SR要求不高时,可使用间接固定双边SPGD算法来提高收敛速度;当SR要求较高时,则应当使用间接自动双边SPGD算法。提出的算法为实际的激光整形提供了理论指导。 展开更多

关键词 波前整形系统 随机并行梯度下降算法 仿真 ZERNIKE多项式 变形镜

在线阅读 下载PDF 职称材料

基于主动相位控制的脉冲激光相干合成技术 被引量：4

12

作者 王小林 周朴 +4 位作者 马阎星 马浩统 李霄 许晓军 赵伊君 《国防科技大学学报》 EI CAS CSCD 北大核心 2012年第1期33-37,共5页

提出并验证了基于随机并行梯度下降(SPGD)算法的主动相位控制脉冲激光相干合成方案。利用低通滤波器滤除脉冲激光光强变化导致的性能评价函数起伏,提取出相位噪声导致的性能评价函数变化,然后将这个低通滤波后的性能评价函数用于SPGD算... 提出并验证了基于随机并行梯度下降(SPGD)算法的主动相位控制脉冲激光相干合成方案。利用低通滤波器滤除脉冲激光光强变化导致的性能评价函数起伏,提取出相位噪声导致的性能评价函数变化,然后将这个低通滤波后的性能评价函数用于SPGD算法的极值寻优过程,从而实现脉冲激光的锁相。对该方案进行了理论分析和数值模拟,并进行了两路脉冲激光相干合成实验。实验结果表明,当系统从闭环到开环时,系统性能评价函数均值提高到开环的1.6倍,干涉条纹长曝光对比度从0提高到0.43。在该方案中,通过增加合成脉冲激光路数,并在各路脉冲激光中引入多级功率放大器,能够得到更高的合成功率输出。 展开更多

关键词 光纤激光 脉冲激光 相干合成 相位控制 随机并行梯度下降算法

在线阅读 下载PDF 职称材料

随机并行梯度下降算法在激光束整形中的应用 被引量：7

13

作者 刘磊 郭劲 +3 位作者 赵帅 姜振华 孙涛 王挺峰 《中国光学》 EI CAS 2014年第2期260-266,共7页

为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑... 为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑半径、形心为中心的环围能量比和质心为中心的环围能量比作为算法性能指标,开展了激光束整形实验研究。3种情况下,分别经过58次、197次、133次迭代趋于收敛,但光斑半径作为性能指标时振荡严重;环围能量比从整形前的0.200 5、0.127 7、0.200 5分别增加到整形后的0.669 9、0.733 9、0.864 0。实验结果表明:MMDM用于激光束整形具有良好的效果,光斑半径作为性能指标整形速度最快,其次为质心环围能量比,形心环围能量比最慢;质心环围能量比作为性能指标整形效果最好,其次为形心环围能量比,光斑半径最差。综合比较,质心环围能量比作为性能指标时综合效果最好。 展开更多

关键词 随机并行梯度下降算法 激光束整形 微机械薄膜变形镜 性能指标

在线阅读 下载PDF 职称材料

基于偏振鉴相的相干合成技术 被引量：5

14

作者 颜宏 叶一东 +1 位作者 卢飞 蒋茂华 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第B05期5-8,共4页

推导了偏振相干合成后任意方向检偏的光强受束间相位差调制的解析表达式,并通过实验验证了表达式的正确性。开展了基于偏振鉴相的相干合成实验研究,用梯度下降算法锁定了两束激光的相位,获得了稳定的输出功率,验证了基于偏振鉴相的相干... 推导了偏振相干合成后任意方向检偏的光强受束间相位差调制的解析表达式,并通过实验验证了表达式的正确性。开展了基于偏振鉴相的相干合成实验研究,用梯度下降算法锁定了两束激光的相位,获得了稳定的输出功率,验证了基于偏振鉴相的相干合成技术可行性;分析了基于偏振鉴相的相干合成技术的优点和对激光器的要求;提出了一种基于偏振鉴相的可定标放大全口径相干合成方法,采用多探测器和多级并行相位调制的方法,解决了随机并行梯度下降(SPGD)算法闭环带宽随合成光束数增加而快速退化的问题。 展开更多

关键词 偏振相干合成 相位探测 随机并行梯度下降算法 外差法

在线阅读 下载PDF 职称材料

用于共孔径相干合成的衍射光学元件设计 被引量：4

15

作者 颜宏 张卫 +2 位作者 叶一东 陈黎 田飞 《强激光与粒子束》 EI CAS CSCD 北大核心 2015年第6期6-11,共6页

分析了衍射光学元件实现共孔径相干合成的物理过程,建立了基于衍射光学元件的共孔径相干合成数学模型,推导了合成光束复振幅与入射光束和衍射光学元件相位分布之间的关系。提出用合成光束强度分布的均匀性作为评价函数的优化方法,获得... 分析了衍射光学元件实现共孔径相干合成的物理过程,建立了基于衍射光学元件的共孔径相干合成数学模型,推导了合成光束复振幅与入射光束和衍射光学元件相位分布之间的关系。提出用合成光束强度分布的均匀性作为评价函数的优化方法,获得了一维衍射合束器的相位分布。与文献报道的衍射光学元件分束器相比,可获得更高的合成效率。采用模拟退火算法结合随机并行梯度下降算法优化合束器设计,提高了计算效率,获得了多束衍射合束器的相位分布和合成效率。分析了单子束失效及合束器像差对合成效率的影响,结果表明:随着合束数量的增加,单子束失效对合成效率的影响逐渐减小;若使合成效率退化小于5%,衍射光学元件的波像差均方根值应控制在λ/28以内。 展开更多

关键词 衍射光学元件 衍射分束器 相干合成 模拟退火算法 随机并行梯度下降算法 衍射效率

在线阅读 下载PDF 职称材料

高能固体脉冲激光热晕效应相位补偿的数值分析 被引量：4

16

作者 冯晓星 张鹏飞 +3 位作者 乔春红 张京会 范承玉 王英俭 《红外与激光工程》 EI CSCD 北大核心 2015年第5期1408-1413,共6页

热晕效应是高能激光大气传输最重要的非线性效应之一。利用激光大气传输四维仿真程序,针对高能固体脉冲激光大气传输的非线性热晕效应,采用常规自适应光学系统与随机并行梯度算法自适应光学系统对其相位补偿进行了数值模拟和分析。结果... 热晕效应是高能激光大气传输最重要的非线性效应之一。利用激光大气传输四维仿真程序,针对高能固体脉冲激光大气传输的非线性热晕效应,采用常规自适应光学系统与随机并行梯度算法自适应光学系统对其相位补偿进行了数值模拟和分析。结果表明:当脉冲宽度1 ms,重复频率10 Hz,单脉冲发射功率500 k W时,常规自适应光学系统补偿效果较好;当脉冲发射功率增加或者重复频率增加时,随机并行梯度下降算法自适应光学系统补偿效果较好。 展开更多

关键词 大气传输 热晕效应 自适应光学 随机并行梯度下降(SPGD)算法

在线阅读 下载PDF 职称材料

自适应光学随机并行梯度下降算法波前整形规律仿真(英文) 被引量：7

17

作者 王卫兵 王挺峰 郭劲 《中国光学》 EI CAS 2014年第3期411-420,共10页

本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速... 本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速率、整形能力和整形效果随波前畸变量和变形镜模型的变化规律作了较为详细的仿真研究,整体定性结果表明：三者的变化规律有一定的相似性,同时利用最小二乘法得到了关于整形能力和整形效果变化规律的定量表达式,若从自适应光学波前整形系统的实时性和简单性考虑,在保证一定整形效果的情况下,选择37单元变形镜对畸变波前的3~27（25）阶Zernike像差进行整形即可。 展开更多

关键词 自适应光学波前整形 随机并行梯度下降算法 收敛速率 整形能力 整形效果

在线阅读 下载PDF 职称材料

随机梯度下降算法研究进展 被引量：95

18

作者 史加荣 王丹 +1 位作者 尚凡华 张鹤于 《自动化学报》 EI CAS CSCD 北大核心 2021年第9期2103-2119,共17页

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以... 在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向. 展开更多

关键词 随机梯度下降算法 机器学习 深度学习 梯度下降算法 大规模学习 逻辑回归 卷积神经网络

在线阅读 下载PDF 职称材料

基于Zernike模式的自适应光学系统随机并行梯度下降算法 被引量：9

19

作者 杨慧珍 李新阳 《强激光与粒子束》 EI CAS CSCD 北大核心 2009年第5期645-648,共4页

控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿... 控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿真模型。结果表明:达到同样的校正效果时,采用组合优化的算法收敛速度要明显优于基于区域法的收敛速度,从而验证了理论分析的合理性。 展开更多

关键词 自适应光学系统 随机并行梯度下降算法 Zernike模式

在线阅读 下载PDF 职称材料

基于随机并行梯度下降算法的光束相干合成技术 被引量：2

20

作者 潘旭东 贺喜 +2 位作者 雍松林 张生帅 田俊林 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第10期2521-2526,共6页

介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开... 介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开展了光纤激光的相干合成实验,结果表明光束相干合成效果显著,有效地验证了仿真分析的结果。 展开更多

关键词 随机并行梯度下降算法 光纤激光 相干合成 高功率激光

在线阅读 下载PDF 职称材料