一类自适应梯度裁剪的差分隐私随机梯度下降算法 被引量：1

1

作者 张家棋 李觉友 《运筹学学报（中英文）》 CSCD 北大核心 2024年第2期47-57,共11页

梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数... 梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数平均策略对梯度裁剪参数进行自适应动态调整,进而提出一类自适应梯度裁剪的差分隐私随机梯度下降算法。其次,在非凸目标函数的情况下对提出的自适应算法给出收敛性分析和隐私性分析。最后,在MNIST、Fasion-MNIST和IMDB数据集上进行数值仿真。其结果表明,与传统梯度裁剪算法相比,本文提出的自适应梯度裁剪算法显著提高了模型精度。 展开更多

关键词 随机梯度下降算法 差分隐私 梯度裁剪 自适应性

在线阅读 下载PDF 职称材料

随机梯度下降算法研究进展 被引量：92

2

作者 史加荣 王丹 +1 位作者 尚凡华 张鹤于 《自动化学报》 EI CAS CSCD 北大核心 2021年第9期2103-2119,共17页

在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以... 在机器学习领域中,梯度下降算法是求解最优化问题最重要、最基础的方法.随着数据规模的不断扩大,传统的梯度下降算法已不能有效地解决大规模机器学习问题.随机梯度下降算法在迭代过程中随机选择一个或几个样本的梯度来替代总体梯度,以达到降低计算复杂度的目的.近年来,随机梯度下降算法已成为机器学习特别是深度学习研究的焦点.随着对搜索方向和步长的不断探索,涌现出随机梯度下降算法的众多改进版本,本文对这些算法的主要研究进展进行了综述.将随机梯度下降算法的改进策略大致分为动量、方差缩减、增量梯度和自适应学习率等四种.其中,前三种主要是校正梯度或搜索方向,第四种对参数变量的不同分量自适应地设计步长.着重介绍了各种策略下随机梯度下降算法的核心思想、原理,探讨了不同算法之间的区别与联系.将主要的随机梯度下降算法应用到逻辑回归和深度卷积神经网络等机器学习任务中,并定量地比较了这些算法的实际性能.文末总结了本文的主要研究工作,并展望了随机梯度下降算法的未来发展方向. 展开更多

关键词 随机梯度下降算法 机器学习 深度学习 梯度下降算法 大规模学习 逻辑回归 卷积神经网络

在线阅读 下载PDF 职称材料

基于卷积神经网络的随机梯度下降算法 被引量：75

3

作者 王功鹏 段萌 牛常勇 《计算机工程与设计》 北大核心 2018年第2期441-445,462,共6页

为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变。针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,... 为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变。针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,设计选择Leaky Relu作为激活函数的CNN。实验验证了使用该激活函数的有效性,实验结果表明,采用上述学习率更新算法的SGD可以使网络快速收敛,提高了学习正确率;通过将Leaky Relu激活函数和采用上述学习率更新算法的SGD相结合,进一步提高CNN的学习正确率。 展开更多

关键词 卷积神经网络 随机梯度下降算法 自适应学习率更新算法 LeakyRelu激活函数 快速收敛

在线阅读 下载PDF 职称材料

随机并行梯度下降算法在激光束整形中的应用 被引量：7

4

作者 刘磊 郭劲 +3 位作者 赵帅 姜振华 孙涛 王挺峰 《中国光学》 EI CAS 2014年第2期260-266,共7页

为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑... 为了满足高光束质量要求,校正激光束在传输过程中产生的波前畸变,改善激光位相分布,进而提高聚焦光斑的能量集中度,基于79单元微机械薄膜变形镜(MMDM)搭建了一套激光束整形实验系统。利用随机并行梯度下降(SPGD)算法,分别选择聚焦光斑半径、形心为中心的环围能量比和质心为中心的环围能量比作为算法性能指标,开展了激光束整形实验研究。3种情况下,分别经过58次、197次、133次迭代趋于收敛,但光斑半径作为性能指标时振荡严重;环围能量比从整形前的0.200 5、0.127 7、0.200 5分别增加到整形后的0.669 9、0.733 9、0.864 0。实验结果表明:MMDM用于激光束整形具有良好的效果,光斑半径作为性能指标整形速度最快,其次为质心环围能量比,形心环围能量比最慢;质心环围能量比作为性能指标整形效果最好,其次为形心环围能量比,光斑半径最差。综合比较,质心环围能量比作为性能指标时综合效果最好。 展开更多

关键词 随机并行梯度下降算法 激光束整形 微机械薄膜变形镜 性能指标

在线阅读 下载PDF 职称材料

基于Zernike模式的随机并行梯度下降算法的收敛速率 被引量：6

5

作者 王卫兵 赵帅 +1 位作者 郭劲 王挺峰 《中国光学》 EI CAS 2012年第4期407-415,共9页

为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特... 为了加快控制变形镜进行波前整形的随机并行梯度下降(SPGD)算法的收敛速率,提高实时波前整形能力,本文利用由12阶Zernike多项式构成的畸变波前和32单元变形镜建立了仿真模型。基于Zernike多项式的单位正交性,得到了两个常数矩阵,当斯特列尔比(SR)达到0.8时,需要算法迭代660次,简化了算法的运算过程,加快了算法运行时间。通过Matlab7.8.0对6种SPGD算法进行仿真对比,结果显示:当SR要求不高时,可使用间接固定双边SPGD算法来提高收敛速度;当SR要求较高时,则应当使用间接自动双边SPGD算法。提出的算法为实际的激光整形提供了理论指导。 展开更多

关键词 波前整形系统 随机并行梯度下降算法 仿真 ZERNIKE多项式 变形镜

在线阅读 下载PDF 职称材料

自适应光学系统随机并行梯度下降算法 被引量：5

6

作者 马慧敏 张鹏飞 +2 位作者 张京会 范承玉 王英俭 《强激光与粒子束》 EI CAS CSCD 北大核心 2010年第6期1206-1210,共5页

随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取... 随机并行梯度下降（SPGD）算法可以对系统性能指标直接优化来校正畸变波前。对基于SPGD算法的61单元自适应光学系统进行仿真模拟,分析了对不同初始静态畸变波前的校正能力,并比较了不同性能指标情况下的算法增益系数、扰动幅度值的选取及校正情况。仿真结果表明：算法收敛速度很大程度上依赖于增益系数和扰动幅度值,对畸变较大的波前,随机扰动幅度在0.50~0.85范围内,性能指标采用焦斑平均半径比采用斯特列尔比取得的校正效果好。 展开更多

关键词 自适应光学 随机并行梯度下降算法 数值仿真 波前畸变

在线阅读 下载PDF 职称材料

基于随机并行梯度下降算法的湍流像差校正仿真 被引量：5

7

作者 马慧敏 张京会 +1 位作者 张鹏飞 范承玉 《红外与激光工程》 EI CSCD 北大核心 2011年第9期1738-1742,共5页

随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找... 随机并行梯度下降(SPGD)算法可不依赖波前探测直接优化系统性能指标来校正畸变波前。建立了基于随机并行梯度下降算法控制的61单元湍流校正仿真模型,实现了通过该算法控制倾斜镜和变形镜对湍流引起的像差的校正。结果发现,该算法能够找到补偿湍流像差所需的倾斜镜和变形镜的最优面形。采用SPGD算法控制,倾斜镜校正后,远场光斑质心更靠近轴心而且轴上斯特列尔比有所提高;倾斜镜和变形镜共同校正比变形镜单独校正的效果好,这也说明倾斜镜的校正是有效的。 展开更多

关键词 自适应光学 随机并行梯度下降算法 湍流

在线阅读 下载PDF 职称材料

自适应光学随机并行梯度下降算法波前整形规律仿真(英文) 被引量：7

8

作者 王卫兵 王挺峰 郭劲 《中国光学》 EI CAS 2014年第3期411-420,共10页

本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速... 本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速率、整形能力和整形效果随波前畸变量和变形镜模型的变化规律作了较为详细的仿真研究,整体定性结果表明：三者的变化规律有一定的相似性,同时利用最小二乘法得到了关于整形能力和整形效果变化规律的定量表达式,若从自适应光学波前整形系统的实时性和简单性考虑,在保证一定整形效果的情况下,选择37单元变形镜对畸变波前的3~27（25）阶Zernike像差进行整形即可。 展开更多

关键词 自适应光学波前整形 随机并行梯度下降算法 收敛速率 整形能力 整形效果

在线阅读 下载PDF 职称材料

基于随机并行梯度下降算法的光束相干合成技术 被引量：2

9

作者 潘旭东 贺喜 +2 位作者 雍松林 张生帅 田俊林 《强激光与粒子束》 EI CAS CSCD 北大核心 2013年第10期2521-2526,共6页

介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开... 介绍了随机并行梯度下降算法的基本原理,对算法流程进行了仿真验证,并对其中随机扰动幅度和增益系数两个关键参数进行了仿真分析。分析结果表明,这两个参数存在一个最适区间,只有在此区间内取值时算法才能有效收敛。以仿真分析为依据开展了光纤激光的相干合成实验,结果表明光束相干合成效果显著,有效地验证了仿真分析的结果。 展开更多

关键词 随机并行梯度下降算法 光纤激光 相干合成 高功率激光

在线阅读 下载PDF 职称材料

基于Zernike模式的自适应光学系统随机并行梯度下降算法 被引量：9

10

作者 杨慧珍 李新阳 《强激光与粒子束》 EI CAS CSCD 北大核心 2009年第5期645-648,共4页

控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿... 控制算法的收敛速度一定程度上限制了无波前探测自适应光学技术在实时波前畸变校正中的应用。从理论分析角度提出将模式法和区域法结合起来以提高算法收敛速度,并以61单元变形镜为校正器,建立基于随机并行梯度下降算法自适应光学系统仿真模型。结果表明:达到同样的校正效果时,采用组合优化的算法收敛速度要明显优于基于区域法的收敛速度,从而验证了理论分析的合理性。 展开更多

关键词 自适应光学系统 随机并行梯度下降算法 Zernike模式

在线阅读 下载PDF 职称材料

随机并行梯度下降算法性能与变形镜排布规律的关系研究 被引量：2

11

作者 陈惠颖 王卫兵 +1 位作者 王挺峰 郭劲 《中国光学》 EI CAS CSCD 2016年第4期432-438,共7页

对随机并行梯度下降算法(SPGD)性能与不同变形镜排布规律的关系进行了研究。以采用Roddier方法生成的由52项Zernike像差构成的畸变波前为整形对象,对SPGD算法的收敛速率和整形效果与变形镜排布规律(单元数分别为19、21、32、37、45、60... 对随机并行梯度下降算法(SPGD)性能与不同变形镜排布规律的关系进行了研究。以采用Roddier方法生成的由52项Zernike像差构成的畸变波前为整形对象,对SPGD算法的收敛速率和整形效果与变形镜排布规律(单元数分别为19、21、32、37、45、60、61、77、91)之间的关系进行了仿真研究。结果表明:从整体分析,随着变形镜单元数逐渐增多,SPGD算法的收敛速率和整形效果均逐渐变差;从局部分析,由于变形镜元胞类型变化和边缘占空比的影响,在渐变规律中产生了局部差异。 展开更多

关键词 波前整形 随机并行梯度下降算法 变形镜

在线阅读 下载PDF 职称材料

随机并行梯度下降自适应光学系统中算法收敛速度的仿真研究 被引量：2

12

作者 孙穗 梁永辉 王三宏 《光电工程》 CAS CSCD 北大核心 2011年第12期6-12,共7页

在随机并行梯度下降(SPGD)自适应光学(AO)中,SPGD算法通过直接对系统的性能评价函数进行优化从而校正波前像差,有可能实现实时校正,具有很强的应用潜力。SPGD算法的收敛速度与控制单元的数目、性能评价函数的选取、增益系数及扰动幅度... 在随机并行梯度下降(SPGD)自适应光学(AO)中,SPGD算法通过直接对系统的性能评价函数进行优化从而校正波前像差,有可能实现实时校正,具有很强的应用潜力。SPGD算法的收敛速度与控制单元的数目、性能评价函数的选取、增益系数及扰动幅度的取值等密切相关。通过仿真的方法,研究了控制单元数对SPGDAO系统在静态波前校正中收敛速度的影响,得出了收敛所需迭代步数与控制单元数成线性关系的结论;仿真了SPGDAO系统在不同迭代速率或不同风速下的动态波前校正,为系统控制单元数的选取提供了参考。 展开更多

关键词 自适应光学 随机并行梯度下降算法 控制变量

在线阅读 下载PDF 职称材料

基于梯度下降优化的LSTM对空气质量预测研究 被引量：10

13

作者 曹通 白艳萍 《陕西科技大学学报》 CAS 2020年第6期159-164,共6页

文章以2018年~2019年的太原市空气污染物监测数据为基础,建立基于自适应调节学习率的随机梯度下降算法(Adagrad、AdaDelta、Adam)优化的LSTM循环神经网络预测模型,对太原市的空气质量指数(AQI)进行仿真预测,通过对比可得:基于Adam优化的... 文章以2018年~2019年的太原市空气污染物监测数据为基础,建立基于自适应调节学习率的随机梯度下降算法(Adagrad、AdaDelta、Adam)优化的LSTM循环神经网络预测模型,对太原市的空气质量指数(AQI)进行仿真预测,通过对比可得:基于Adam优化的LSTM循环神经网络不仅具备更高的预测精度,而且收敛速度也较快,为城市大气污染治理工作提供了科学合理的理论研究,具有更远的发展前景. 展开更多

关键词 AQI LSTM 随机梯度下降算法 空气质量预测

在线阅读 下载PDF 职称材料

自适应光学系统几种随机并行优化控制算法比较 被引量：35

14

作者 杨慧珍 李新阳 姜文汉 《强激光与粒子束》 EI CAS CSCD 北大核心 2008年第1期11-16,共6页

直接对系统性能指标进行优化是自适应光学系统中一种重要的波前畸变校正方法,选择合适的随机并行优化控制算法是该技术成功实现的关键。以32单元变形镜为校正器,基于多种随机并行优化算法建立自适应光学系统仿真模型。从算法的收敛速度... 直接对系统性能指标进行优化是自适应光学系统中一种重要的波前畸变校正方法,选择合适的随机并行优化控制算法是该技术成功实现的关键。以32单元变形镜为校正器,基于多种随机并行优化算法建立自适应光学系统仿真模型。从算法的收敛速度、校正效果、局部极值3个方面对遗传算法、单向扰动随机并行梯度下降、双向扰动随机并行梯度下降及模拟退火算法进行了比较。仿真结果表明,遗传算法收敛速度太慢,不适用于需要实时控制的自适应光学系统;双向扰动随机并行梯度下降算法收敛速度、校正效果要优于单向扰动随机并行梯度下降,且能够适应各种情况下的扰动电压;模拟退火几乎以概率1收敛到全局极值附近,且收敛速度是上述算法中最快的。 展开更多

关键词 自适应光学系统 随机并行梯度下降算法 模拟退火 遗传算法 数值仿真

在线阅读 下载PDF 职称材料

基于AMASPGD算法的FSOC系统波前畸变校正及性能分析

15

作者 赵辉 于林仙 +2 位作者 秦玉林 付英印 李俊男 《电光与控制》 CSCD 北大核心 2024年第5期95-100,共6页

为了抑制相干自由空间光通信系统中大气湍流引起光信号波前失真的不利影响,提出了一种基于聚合动量(AM)和自适应矩边界(AdaMod)优化器的增强型随机并行梯度下降(SPGD)算法。仿真结果表明,该优化算法可以显著提高收敛速度和鲁棒性,并有... 为了抑制相干自由空间光通信系统中大气湍流引起光信号波前失真的不利影响,提出了一种基于聚合动量(AM)和自适应矩边界(AdaMod)优化器的增强型随机并行梯度下降(SPGD)算法。仿真结果表明,该优化算法可以显著提高收敛速度和鲁棒性,并有效降低波前畸变的峰谷值和均方根,从而更有效地抑制大气湍流对相干自由空间光通信(FSOC)系统混频效率和误码率的负面影响。 展开更多

关键词 自由空间光通信 聚合动量 大气湍流 随机并行梯度下降算法 波前畸变校正

在线阅读 下载PDF 职称材料

激光相干合成系统中SPGD算法的分阶段自适应优化

16

作者 郑文慧 祁家琴 +6 位作者 江文隽 谭贵元 胡奇琪 高怀恩 豆嘉真 邸江磊 秦玉文 《红外与激光工程》 EI CSCD 北大核心 2024年第9期303-315,共13页

为改善传统随机并行梯度下降(Stochastic Parallel Gradient Descent,SPGD)算法应用于大规模激光相干合成系统时收敛速度慢且易陷入局部最优解的情况,提出了一种分阶段自适应增益SPGD算法-Staged SPGD算法。该算法根据性能评价函数值,... 为改善传统随机并行梯度下降(Stochastic Parallel Gradient Descent,SPGD)算法应用于大规模激光相干合成系统时收敛速度慢且易陷入局部最优解的情况,提出了一种分阶段自适应增益SPGD算法-Staged SPGD算法。该算法根据性能评价函数值,在不同收敛时期采用不同策略对增益系数进行自适应调整,同时引入含梯度更新因子的控制电压更新策略,在加快收敛速度的同时减少算法陷入局部极值的概率。实验结果表明:在19路激光相干合成系统中,与传统SPGD算法相比,Staged SPGD算法的收敛速度提升了36.84%,针对不同频率和幅度的相位噪声,算法也具有较优的收敛效果,且稳定性得到显著提升。此外,将Staged SPGD算法直接应用于37、61、91路相干合成系统时,Staged SPGD算法相比传统SPGD算法收敛速度分别提升了37.88%、40.85%和41.10%,提升效果随相干合成单元数增加而更加显著,表明该算法在收敛速度、稳定性和扩展性方面均具有一定优势,具备扩展到大规模相干合成系统的潜力。 展开更多

关键词 激光相干合成 相位控制 随机并行梯度下降算法 SPGD算法

在线阅读 下载PDF 职称材料

基于LSTM神经网络的卫星频谱多门限感知算法 被引量：7

17

作者 刘东健 杨霄鹏 +1 位作者 肖楠 朱圣铭 《信号处理》 CSCD 北大核心 2020年第8期1326-1334,共9页

针对在卫星认知通信场景下传统频谱感知算法感知性能低、受通信时延影响大的问题,提出了一种基于长短期记忆(LSTM)神经网络的卫星频谱多门限感知算法。首先构建卫星认知通信模型,其次将仿真数据送入长短期记忆(LSTM)神经网络进行预测感... 针对在卫星认知通信场景下传统频谱感知算法感知性能低、受通信时延影响大的问题,提出了一种基于长短期记忆(LSTM)神经网络的卫星频谱多门限感知算法。首先构建卫星认知通信模型,其次将仿真数据送入长短期记忆(LSTM)神经网络进行预测感知,采用动量随机梯度下降(SGDM)算法对网络进行更新,然后提出多门限算法对网络输出进行优化,最后与其他神经网络算法作性能对比。该算法无需构建特征值,实验结果表明:在卫星信道条件下,当面对低接收信噪比及低网络迭代次数时,该算法频谱感知性能要优于其他神经网络算法。 展开更多

关键词 卫星认知通信 频谱感知 长短期记忆神经网络 动量随机梯度下降算法 多门限优化

在线阅读 下载PDF 职称材料

分布式深度学习框架下基于性能感知的DBS-SGD算法 被引量：12

18

作者 纪泽宇 张兴军 +2 位作者 付哲 高柏松 李靖波 《计算机研究与发展》 EI CSCD 北大核心 2019年第11期2396-2409,共14页

通过增加模型的深度以及训练数据的样本数量,深度神经网络模型能够在多个机器学习任务中获得更好的性能,然而这些必要的操作会使得深度神经网络模型训练的开销相应增大.因此为了更好地应对大量的训练开销,在分布式计算环境中对深度神经... 通过增加模型的深度以及训练数据的样本数量,深度神经网络模型能够在多个机器学习任务中获得更好的性能,然而这些必要的操作会使得深度神经网络模型训练的开销相应增大.因此为了更好地应对大量的训练开销,在分布式计算环境中对深度神经网络模型的训练过程进行加速成为了研发人员最常用的手段.随机梯度下降(stochastic gradient descent,SGD)算法是当前深度神经网络模型中最常见的训练算法之一,然而SGD在进行并行化的时候容易产生梯度过时问题,从而影响算法的整体收敛性.现有解决方案大部分针对的是各节点性能差别较小的高性能计算(high performance computing,HPC)环境,很少有研究考虑过各节点性能差别较大的集群环境.针对上述问题进行研究并提出了一种基于性能感知技术的动态batch size随机梯度下降算法(dynamic batch size SGD,DBS-SGD).该算法通过分析各节点的计算能力,对各节点的minibatch进行动态分配,从而保证了节点间每次迭代更新的时间基本一致,进而降低了节点的平均梯度过时值.提出的算法能够有效优化异步更新策略中存在的梯度过时问题.选用常用的图像分类基准Mnist和cifar10作为训练数据集,将该算法与异步随机梯度下降(asynchronous SGD,ASGD)算法、n-soft算法进行了对比.实验结果表明:在不损失加速比的情况下,Mnist数据集的loss函数值降低了60%,cifar数据集的准确率提升了约10%,loss函数值降低了10%,其性能高于ASGD算法和n-soft算法,接近同步策略下的收敛曲线. 展开更多

关键词 参数服务器 异步随机梯度下降算法 梯度过时 性能感知 数据并行

在线阅读 下载PDF 职称材料

基于SGD算法优化的BP神经网络围岩参数反演模型研究 被引量：8

19

作者 孙泽 宋战平 +1 位作者 岳波 杨子凡 《隧道建设（中英文）》 CSCD 北大核心 2023年第12期2066-2076,共11页

为充分利用现场监测数据所反馈的围岩变形信息,对岩体力学参数进行反演,以贵州省剑河至黎平高速公路TJ-1标段牛练塘隧道为工程背景,选择围岩弹性模量、黏聚力、泊松比及内摩擦角为影响因素,通过设计正交试验及有限元模拟,获取25组围岩... 为充分利用现场监测数据所反馈的围岩变形信息,对岩体力学参数进行反演,以贵州省剑河至黎平高速公路TJ-1标段牛练塘隧道为工程背景,选择围岩弹性模量、黏聚力、泊松比及内摩擦角为影响因素,通过设计正交试验及有限元模拟,获取25组围岩物理力学参数组合及其对应的拱顶沉降值和拱腰收敛模拟值。基于随机梯度下降算法(stochastic gradient descent algorithm,简称SGD算法)对传统BP神经网络模型进行改进,建立以拱顶沉降值和拱腰收敛值为输入参数,以围岩弹性模量、黏聚力、泊松比及内摩擦角为输出值的基于SGD算法优化的BP神经网络模型,实现围岩参数的反演分析。将反演所得的围岩参数代入有限元模型,验证优化BP神经网络模型的可行性和准确性。最后,分析围岩变形及初期支护受力特性并给出施工建议。结果表明:1)基于SGD算法优化的BP神经网络模型计算得出的拱顶沉降值、拱腰收敛值、拱肩收敛值与现场实测值的相对误差率在2.50%~24.01%,均低于传统BP神经网络模型计算得出的误差率(11.51%~93.71%),验证优化BP神经网络模型的可行性和优越性;2)上、下台阶拱脚处的喷层和锚杆有应力集中现象,有破坏风险,建议施工中加强拱脚支护,防止发生工程事故。 展开更多

关键词 隧道工程 围岩参数反演 随机梯度下降算法 神经网络 正交试验法 数值模拟

在线阅读 下载PDF 职称材料

模拟退火算法光纤放大器相干合成 被引量：10

20

作者 周朴 马阎星 +3 位作者 王小林 马浩统 许晓军 刘泽金 《强激光与粒子束》 EI CAS CSCD 北大核心 2010年第5期973-977,共5页

提出了利用模拟退火算法实现相干合成的思路。对利用模拟退火算法实现多路光纤放大器相干合成进行了数值模拟,验证了方法的有效性,并分析了算法收敛速度与合成光束数目的关系。进行了两路W量级光纤放大器相干合成的实验,结果表明,模拟... 提出了利用模拟退火算法实现相干合成的思路。对利用模拟退火算法实现多路光纤放大器相干合成进行了数值模拟,验证了方法的有效性,并分析了算法收敛速度与合成光束数目的关系。进行了两路W量级光纤放大器相干合成的实验,结果表明,模拟退火算法能够有效控制各路光纤激光的相位,系统闭环将目标圆孔内的能量提高了1.8倍,并使得目标圆孔内能量大于理想值80%的概率从19.4%提升到了51.3%,取得了较为明显的相干合成效果。 展开更多

关键词 光纤放大器 相干合成 模拟退火算法 主动相位控制 随机并行梯度下降算法

在线阅读 下载PDF 职称材料