面向约束多目标优化的进化计算与梯度下降联合优化算法 被引量：1

1

作者 田野 陈津津 张兴义 《计算机应用》 CSCD 北大核心 2024年第5期1386-1392,共7页

约束多目标进化算法(CMOEA)是一类专门为解决约束多目标优化问题而设计的元启发式算法。这类算法利用基于种群的黑盒随机搜索模式,可以在不同优化问题上达到目标与约束之间的有效平衡;然而它们未有效利用函数的梯度信息,在复杂问题上收... 约束多目标进化算法(CMOEA)是一类专门为解决约束多目标优化问题而设计的元启发式算法。这类算法利用基于种群的黑盒随机搜索模式,可以在不同优化问题上达到目标与约束之间的有效平衡;然而它们未有效利用函数的梯度信息,在复杂问题上收敛过慢。但引入梯度信息不是一个简单的过程,同时计算所有目标和约束的梯度会消耗大量的计算资源,且目标和约束之间的矛盾会使梯度方向难以确定。为此,提出一种进化计算和梯度下降(GD)的联合优化算法——基于梯度辅助的多阶段约束多目标进化算法(CMOEA-MSG)。该算法包括两个阶段:在第一阶段,算法通过构建辅助问题并有选择性地计算目标或约束的梯度更新解,使种群快速收敛至可行区域;在第二阶段,算法采用约束优先原则求解原问题,保证种群的可行性和多样性。与现有同类算法在LIR-CMOP、MW和DASCMOP三个测试集上的对比结果表明,CMOEA-MSG可以更有效地解决约束多目标优化问题。 展开更多

关键词 约束多目标优化 进化算法 梯度下降 多阶段搜索

在线阅读 下载PDF 职称材料

随机梯度下降与批量梯度下降在枸杞生长模型优化中收敛速度的对比分析 被引量：1

2

作者 曹梦川 伍丹 杜朋轩 《现代农机》 2024年第6期75-77,共3页

在预测枸杞生长的过程中,回归算法所建立的模型展现出了一定的误差范围。为了提高模型的精确性和效率,文章深入探讨了随机梯度下降法(SGD)和批量梯度下降法(BGD)在回归问题中的应用及二者对回归算法收敛速度的影响。对比随机梯度下降法(... 在预测枸杞生长的过程中,回归算法所建立的模型展现出了一定的误差范围。为了提高模型的精确性和效率,文章深入探讨了随机梯度下降法(SGD)和批量梯度下降法(BGD)在回归问题中的应用及二者对回归算法收敛速度的影响。对比随机梯度下降法(SGD)与批量梯度下降法(BGD)在相同条件下的收敛性能,旨在更深入地理解并优化回归算法的训练过程,从而为枸杞生长模型的改进提供更为精准和高效的方案。 展开更多

关键词 梯度下降 机器学习 回归模型 算法优化

在线阅读 下载PDF 职称材料

基于小批量梯度下降的布谷鸟搜索算法 被引量：4

3

作者 田媛 梁永全 《山东科技大学学报（自然科学版）》 CAS 北大核心 2020年第5期56-67,共12页

布谷鸟搜索算法是一种解决函数目标优化问题的全局搜索算法,具有选用参数少、容易实现、搜索路径优、寻优能力强等特点。为了提高布谷鸟搜索算法的求精能力和收敛速度,改善后期收敛慢和搜索精度不稳定的问题,提出了一种基于小批量梯度... 布谷鸟搜索算法是一种解决函数目标优化问题的全局搜索算法,具有选用参数少、容易实现、搜索路径优、寻优能力强等特点。为了提高布谷鸟搜索算法的求精能力和收敛速度,改善后期收敛慢和搜索精度不稳定的问题,提出了一种基于小批量梯度下降的布谷鸟搜索算法。引入小批量梯度下降,优化寻找最优解的过程,加快局部最优的搜索,从而提高算法的求精能力和收敛速度。仿真实验结果表明,基于小批量梯度下降的布谷鸟搜索算法简单高效,在保持标准布谷鸟搜索算法优点的基础上提高了算法的收敛速度和寻优精度,具有较强的稳定性和鲁棒性。 展开更多

关键词 布谷鸟搜索算法 列维飞行 函数目标优化 小批量梯度下降 全局最优解

在线阅读 下载PDF 职称材料

轨道优化实时计算的梯度投影下降算法——防空导弹轨道优化的实时计算方法之二 被引量：2

4

作者 费景高 《现代防御技术》 2004年第5期25-29,共5页

在防空导弹的发射过程中,需要在给定的响应时间内确定最优轨道,导弹沿此轨道在预定的时间飞达预测遭遇点。为了轨道优化的实时计算,构造了一类梯度投影下降算法,并且给出实际应用的具体步骤。对防空导弹运动的一个数学模型的数字仿真结... 在防空导弹的发射过程中,需要在给定的响应时间内确定最优轨道,导弹沿此轨道在预定的时间飞达预测遭遇点。为了轨道优化的实时计算,构造了一类梯度投影下降算法,并且给出实际应用的具体步骤。对防空导弹运动的一个数学模型的数字仿真结果表明:应用这些算法可以达到很高的控制精度。 展开更多

关键词 优化 轨道 导弹 算法 梯度投影下降算法

在线阅读 下载PDF 职称材料

“整数梯度下降”算法对热泵用翅片管蒸发器流路的优化 被引量：5

5

作者 张浩 侯泽飞 +4 位作者 李杏党 樊超超 晏刚 褚雯霄 王秋旺 《制冷学报》 CAS CSCD 北大核心 2021年第3期34-41,共8页

本文针对热泵用翅片管蒸发器,采用分布参数法构建仿真模型,研究蒸发器流路对其熵产的影响,并开发了基于“整数梯度下降”算法的蒸发器流路优化模型。研究结果表明:当蒸发器换热量增大时,最小熵产点所对应的蒸发器分路数增加,且分液器相... 本文针对热泵用翅片管蒸发器,采用分布参数法构建仿真模型,研究蒸发器流路对其熵产的影响,并开发了基于“整数梯度下降”算法的蒸发器流路优化模型。研究结果表明:当蒸发器换热量增大时,最小熵产点所对应的蒸发器分路数增加,且分液器相对位置前移。通过对比实验与仿真结果,验证了蒸发器熵产(仿真值)与系统COP(实验值)之间的对应关系,即蒸发器熵产(仿真值)的变化可用于预测热泵系统COP的变化情况。在此基础上,以熵产作为“代价函数”,采用“梯度下降算法”构建了蒸发器流路优化模型,获得了设计换热量为2000~6000 W所对应的最佳蒸发器流路。 展开更多

关键词 蒸发器流路 梯度下降算法 熵产最小化原理 优化模型

在线阅读 下载PDF 职称材料

一种自适应步长的复合梯度加速优化算法 被引量：5

6

作者 印明昂 王钰烁 +1 位作者 孙志礼 于云飞 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2020年第9期1274-1279,共6页

自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点,成为近期相关领域的研究热点.针对Adam收敛速度慢的问题,本文基于当前梯度、预测梯度以及历史动量梯度,提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam),并对... 自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点,成为近期相关领域的研究热点.针对Adam收敛速度慢的问题,本文基于当前梯度、预测梯度以及历史动量梯度,提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam),并对其收敛性进行了理论证明.与其他加速算法的区别之处在于,C-Adam将预测梯度与历史动量区别开,通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证,实验结果表明CAdam与其他流行算法相比较具有更快的收敛速度及更小的训练损失. 展开更多

关键词 一阶优化算法 复合梯度下降法 LOGISTIC回归 模式识别

在线阅读 下载PDF 职称材料

一个基于近似下降方向的免梯度算法

7

作者 彭叶辉 《运筹与管理》 CSCD 2005年第3期60-63,共4页

本文构造一个求解非线性无约束优化问题的免梯度算法,该算法基于传统的模矢法,每次不成功迭代后,充分利用已有迭代点的信息,构造近似下降方向,产生新的迭代点。在较弱条件下,算法是总体收敛的。通过数值实验与传统模矢法相比,计算量明... 本文构造一个求解非线性无约束优化问题的免梯度算法,该算法基于传统的模矢法,每次不成功迭代后,充分利用已有迭代点的信息,构造近似下降方向,产生新的迭代点。在较弱条件下,算法是总体收敛的。通过数值实验与传统模矢法相比,计算量明显减少。 展开更多

关键词 无约束优化 免梯度算法 近似下降方向 模矢法

在线阅读 下载PDF 职称材料

求解无约束最优化问题的一类新共轭下降算法

8

作者 马昌凤 熊令纯 《长沙水电师院学报（自然科学版）》 2001年第3期9-11,共3页

提出了求解无约束最优化问题的一类新共轭下降算法 ,并在非精确线搜索下证明了该算法的全局收敛性 .数值结果表明 。

关键词 无约束最优化问题 共轭下降算法 全局收敛性 非精确线搜索 梯度函数

在线阅读 下载PDF 职称材料

基于隐式随机梯度下降优化的联邦学习 被引量：12

9

作者 窦勇敢 袁晓彤 《智能系统学报》 CSCD 北大核心 2022年第3期488-495,共8页

联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随... 联邦学习是一种分布式机器学习范式,中央服务器通过协作大量远程设备训练一个最优的全局模型。目前联邦学习主要存在系统异构性和数据异构性这两个关键挑战。本文主要针对异构性导致的全局模型收敛慢甚至无法收敛的问题,提出基于隐式随机梯度下降优化的联邦学习算法。与传统联邦学习更新方式不同,本文利用本地上传的模型参数近似求出平均全局梯度,同时避免求解一阶导数,通过梯度下降来更新全局模型参数,使全局模型能够在较少的通信轮数下达到更快更稳定的收敛结果。在实验中,模拟了不同等级的异构环境,本文提出的算法比FedProx和FedAvg均表现出更快更稳定的收敛结果。在相同收敛结果的前提下,本文的方法在高度异构的合成数据集上比FedProx通信轮数减少近50%,显著提升了联邦学习的稳定性和鲁棒性。 展开更多

关键词 联邦学习 分布式机器学习 中央服务器 全局模型 隐式随机梯度下降 数据异构 系统异构 优化算法 快速收敛

在线阅读 下载PDF 职称材料

带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法 被引量：1

10

作者 秦传东 杨旭 《计算机应用研究》 CSCD 北大核心 2023年第12期3655-3659,3665,共6页

为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基... 为了更好地应对当今时代的大规模高维稀疏数据集,融合BB方法、小批量算法与随机方差缩减梯度法(SVRG)优势,提出一种带有随机改进Barzilai-Borwein步长的小批量稀疏随机方差缩减梯度法(MSSVRG-R2BB)。首先,在SVRG外循环中全梯度计算的基础上加入L_1范数次梯度设计出一种稀疏近似梯度用于内循环,得到一种稀疏的SVRG算法(SSVRG)。在此基础上,在小批量的稀疏随机方差缩减梯度法中使用随机选取的改进BB方法自动计算、更新步长,解决了小批量算法的步长选取问题,拓展得到MSSVRG-R2BB算法。数值实验表明,在求解大规模高维稀疏数据的线性支持向量机(SVM)问题时,MSSVRG-R2BB算法不仅可以减小运算成本、更快达到收敛上界,同时能达到与其他先进的小批量算法相同的优化水平,并且对于不同的初始参数选取表现稳定且良好。 展开更多

关键词 随机梯度下降法 小批量算法 Barzilai-Borwein方法 方差缩减 凸优化

在线阅读 下载PDF 职称材料

改进的遗传算法及其在多目标优化设计中的应用 被引量：5

11

作者 黄康 许志伟 董迎晖 《机械设计》 CSCD 北大核心 2005年第9期45-47,共3页

遗传算法是一种模拟自然界进化过程的启发式优化计算算法,具有高效及可收敛到全局最优点的特点。文中针对遗传算法局部搜索能力弱的特点,将其与梯度下降法结合,提高其局部搜索能力,并进行了测试。然后结合一多目标工程问题进行了优化计... 遗传算法是一种模拟自然界进化过程的启发式优化计算算法,具有高效及可收敛到全局最优点的特点。文中针对遗传算法局部搜索能力弱的特点,将其与梯度下降法结合,提高其局部搜索能力,并进行了测试。然后结合一多目标工程问题进行了优化计算,结果表明此算法可有效解决工程问题的优化。 展开更多

关键词 遗传算法 优化设计 塔机 梯度下降法

在线阅读 下载PDF 职称材料

变尺度混沌算法的BP网络优化 被引量：4

12

作者 刘琼荪 孙喜波 《计算机应用研究》 CSCD 北大核心 2011年第4期1257-1259,共3页

采用变尺度混沌优化方法代替梯度下降法融入BP神经网络,在优化搜索过程中不断缩小搜索空间,克服了标准BP算法易陷入局部极小的缺点,能有效地寻找到BP神经网络权值的全局最优值;此外,进一步提出变尺度混沌优化与梯度下降法有机结合的算法... 采用变尺度混沌优化方法代替梯度下降法融入BP神经网络,在优化搜索过程中不断缩小搜索空间,克服了标准BP算法易陷入局部极小的缺点,能有效地寻找到BP神经网络权值的全局最优值;此外,进一步提出变尺度混沌优化与梯度下降法有机结合的算法,能有效缩短单一的变尺度混沌优化BP算法的训练时间。仿真结果表明,改进的BP神经网络具有实现简单、寻优性强和优化效率高等特点。 展开更多

关键词 误差反向传播算法 梯度下降法 局部极小 混沌优化 变尺度混沌优化算法

在线阅读 下载PDF 职称材料

非凸极小极大问题的优化算法与复杂度分析 被引量：6

13

作者 徐姿 张慧灵 《运筹学学报》 CSCD 北大核心 2021年第3期74-86,共13页

非凸极小极大问题是近期国际上优化与机器学习、信号处理等交叉领域的一个重要研究前沿和热点,包括对抗学习、强化学习、分布式非凸优化等前沿研究方向的一些关键科学问题都归结为该类问题。国际上凸-凹极小极大问题的研究已取得很好的... 非凸极小极大问题是近期国际上优化与机器学习、信号处理等交叉领域的一个重要研究前沿和热点,包括对抗学习、强化学习、分布式非凸优化等前沿研究方向的一些关键科学问题都归结为该类问题。国际上凸-凹极小极大问题的研究已取得很好的成果,但非凸极小极大问题不同于凸-凹极小极大问题,是有其自身结构的非凸非光滑优化问题,理论研究和求解难度都更具挑战性,一般都是NP-难的。重点介绍非凸极小极大问题的优化算法和复杂度分析方面的最新进展。 展开更多

关键词 极小极大优化问题 复杂度分析 一阶算法 (随机)梯度下降上升算法 交替梯度投影算法 非凸优化 机器学习

在线阅读 下载PDF 职称材料

随机ADD算法的不确定网络优化研究

14

作者 李冬梅 刘艳 《计算机应用研究》 CSCD 北大核心 2014年第12期3808-3812,共5页

传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢。加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定... 传统的网络优化问题通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收敛速度较慢。加速对偶下降算法(ADD)通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法当不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快两个数量级。 展开更多

关键词 网络优化 加速对偶梯度下降算法 随机ADD 收敛速率

在线阅读 下载PDF 职称材料

一族共扼下降算法的全局收敛性

15

作者 王柏岩 欧志英 严克明 《甘肃工业大学学报》 北大核心 2001年第4期94-95,共2页

给出了无约束问题一族含有一个参数βｋ的共扼下降算法，证明了该共扼下降算法在满足一种非精确线性搜索条件时是下降的，而且是全局收敛的．同时可以看到共扼下降算法是其特例．

关键词 共扼梯度法 全局收敛 非精确线性搜索 共轭下降算法 无约束最优化

在线阅读 下载PDF 职称材料

下降对称的Polak-Ribiere-Polyak共轭梯度法 被引量：1

16

作者 刘东毅 邵琛 《天津大学学报》 EI CAS CSCD 北大核心 2010年第4期367-372,共6页

应用Powell对称化技术于Polak-Ribiere-Polyak共轭梯度法,提出了一种下降对称的Polak-Ribiere-Polyak共轭梯度法.对任意线性搜索,它都满足下降性质.在强Wolfe线搜索的条件下,利用矩阵的谱分析和Zoutendijk条件,证明了此算法的全局收敛性... 应用Powell对称化技术于Polak-Ribiere-Polyak共轭梯度法,提出了一种下降对称的Polak-Ribiere-Polyak共轭梯度法.对任意线性搜索,它都满足下降性质.在强Wolfe线搜索的条件下,利用矩阵的谱分析和Zoutendijk条件,证明了此算法的全局收敛性.最后,通过数值实验并且与Polak-Ribiere+(PR+)算法作比较,验证了该算法的性能和有效性与实用性. 展开更多

关键词 共轭梯度法 全局最优化 算法 对称化技术 下降性质 线搜索 谱分析 全局收敛性

在线阅读 下载PDF 职称材料

联邦学习的社群化制造韧性能力预测建模

17

作者 张富强 王浩杰 +1 位作者 惠记庄 丁凯 《西安交通大学学报》 北大核心 2025年第8期11-19,共9页

针对社群化制造资源分散化布局的特点,以及传统集中式建模面临的数据隐私与信息孤岛等问题,提出了一种基于联邦学习的韧性能力预测框架,从多角度分析不同因素对产品生产加工工时的影响。首先,考虑不同工序中断情况,以订单交付周期为目... 针对社群化制造资源分散化布局的特点,以及传统集中式建模面临的数据隐私与信息孤岛等问题,提出了一种基于联邦学习的韧性能力预测框架,从多角度分析不同因素对产品生产加工工时的影响。首先,考虑不同工序中断情况,以订单交付周期为目标函数,搭建了工时扰动模型计算损失时间,进而基于分布式学习范式,搭建了联邦学习网络模型;其次,设计了联邦小批量梯度下降(FedMBGD)算法,明确算法流程并进行本地训练;最后,结合工时扰动模型和算法,对社群化制造的韧性能力进行预测,通过与其他算法的对比,验证了所提算法的可行性与有效性。研究结果表明:所提出的算法能够显著提升收敛性与寻优能力,可将预测精确度提高至90%以上,并且在不共享原始数据的前提下,实现了社群化制造韧性的动态精准预测,解决了数据隐私与协同建模之间的矛盾。该研究为社群化制造模式下韧性能力预测提供了理论参考,为隐私数据的算法训练、参数上传及信息共享提供了一定的指导意义。 展开更多

关键词 社群化制造 工时扰动 联邦小批量梯度下降算法 韧性能力预测

在线阅读 下载PDF 职称材料

基于粒子群优化的模糊核聚类方法 被引量：12

18

作者 杨广全 朱昌明 《上海交通大学学报》 EI CAS CSCD 北大核心 2009年第6期935-939,共5页

针对模糊核聚类对初始值敏感、易陷入局部最优的缺点,提出了基于粒子群优化的模糊核聚类方法.该方法根据聚类准则设计适应度函数,利用粒子群优化算法对聚类中心进行优化,在迭代优化过程中设计了梯度下降法加快算法的收敛速度,并引入变... 针对模糊核聚类对初始值敏感、易陷入局部最优的缺点,提出了基于粒子群优化的模糊核聚类方法.该方法根据聚类准则设计适应度函数,利用粒子群优化算法对聚类中心进行优化,在迭代优化过程中设计了梯度下降法加快算法的收敛速度,并引入变异机制增强粒子群的多样性.仿真实验及在水轮机转轮叶片裂纹源定位中的应用验证了算法的可行性和有效性. 展开更多

关键词 聚类分析 模糊核聚类 粒子群优化算法 梯度下降法

在线阅读 下载PDF 职称材料

切换系统优化控制方法研究 被引量：5

19

作者 尹增山 李平 高春华 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2002年第2期115-118,共4页

针对一类特殊的混杂系统——切换系统的优化控制问题 ,提出了分段梯度下降优化方法 ,它是连续系统优化控制梯度下降法的推广 .对分段线性切换系统 ,通过一定变换 ,可以把切换系统转化成关于特定变量的连续系统 ,证明了切换系统整体优化... 针对一类特殊的混杂系统——切换系统的优化控制问题 ,提出了分段梯度下降优化方法 ,它是连续系统优化控制梯度下降法的推广 .对分段线性切换系统 ,通过一定变换 ,可以把切换系统转化成关于特定变量的连续系统 ,证明了切换系统整体优化控制目标等价于各子模态连续系统的优化目标之和 ,从而得到切换系统最优控制的梯度下降优化算法 ,该方法能够有效地得出切换系统优化控制的局部最优解 .给出了具体示例 。 展开更多

关键词 分段切换系统 混杂系统 最优控制 梯度下降优化算法 局部最优解 连续系统

在线阅读 下载PDF 职称材料

基于PSO的BP神经网络学习算法 被引量：14

20

作者 王爱平 江丽 《计算机工程》 CAS CSCD 2012年第21期193-196,共4页

针对标准反向传播(BP)算法收敛速度慢和易陷入局部极值等缺陷,提出一种基于粒子群优化的BP神经网络学习算法。采用标准BP梯度下降法调整权值,利用粒子群优化算法进行网络权值及阈值的修正。将该算法与标准BP算法及传统基于粒子群优化BP... 针对标准反向传播(BP)算法收敛速度慢和易陷入局部极值等缺陷,提出一种基于粒子群优化的BP神经网络学习算法。采用标准BP梯度下降法调整权值,利用粒子群优化算法进行网络权值及阈值的修正。将该算法与标准BP算法及传统基于粒子群优化BP网络算法进行仿真比较。实验结果表明,该算法能够克服标准BP算法的缺点,性能优于其他2个BP网络优化模型。 展开更多

关键词 神经网络 反向传播算法 粒子群优化 梯度下降法 函数拟合

在线阅读 下载PDF 职称材料