期刊文献+
共找到9篇文章
< 1 >
每页显示 20 50 100
线性插值投影次梯度方法的最优个体收敛速率 被引量:6
1
作者 陶蔚 潘志松 +1 位作者 朱小辉 陶卿 《计算机研究与发展》 EI CSCD 北大核心 2017年第3期529-536,共8页
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在... 投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能. 展开更多
关键词 一阶梯度方法 个体收敛速率 投影次梯度方法 线性插值操作 对偶平均方法
在线阅读 下载PDF
非Lipschitz集值混合变分不等式的一个投影次梯度方法 被引量:5
2
作者 唐国吉 黄南京 《应用数学和力学》 CSCD 北大核心 2011年第10期1254-1264,共11页
建立了一个投影次梯度方法来求解一类集值混合变分不等式,其中相关的映象不必是Lipschitz连续的.在合适的条件下,证明了在Hilbert空间中该方法产生的序列强收敛于问题的唯一解.
关键词 集值混合变分不等式 投影次梯度方法 非Lipschitz映象 收敛性
在线阅读 下载PDF
使用Nesterov步长策略投影次梯度方法的个体收敛性 被引量:17
3
作者 陶蔚 潘志松 +1 位作者 储德军 陶卿 《计算机学报》 EI CSCD 北大核心 2018年第1期164-176,共13页
很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经... 很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经提出了大量的随机优化方法求解大规模机器学习优化问题,但大部分的研究只是针对平均输出方式获得了最优收敛速率.个体输出方式显然比平均方式的输出具有更好的稀疏性,但使个体收敛速率获得最优具有一定的难度,人们已经将强凸情形下的最优个体收敛性作为公开问题进行广泛研究.对于光滑目标函数的优化问题,著名学者Nesterov提出了一种步长策略,使得梯度方法的收敛速率获得了数量级形式的加速,并且获得了最优的个体收敛速率.目前,Nesterov加速算法已经应用于各种具有光滑损失函数机器学习优化问题中,研究者基于该加速策略提出了大量的随机优化算法.能否将这种技巧推广至非光滑情形获得最优的个体收敛速率显然是有意义的问题.文中考虑在非光滑优化算法中引入这种步长策略.特别地,我们聚焦经典的一阶梯度方法,提出了一种嵌入加速算法步长策略的投影次梯度算法,证明了这种算法在求解非光滑损失函数学习问题时具有最优的个体收敛速率.这是比标准投影次梯度方法只有在平均输出方式下才具有最优收敛速率更强的结论,也是一阶梯度方法在个体最优收敛速率方面比较接近于大家期待的研究成果.与平均方式输出以及线性插值的投影次梯度方法相比,该文所提方法的梯度运算在插值策略之后,因此在求解l1范数约束的hinge损失函数学习问题时具有更好的稀疏性.人工数据集上的实验验证了所提方法的正确性,基准数据集上验证了该方法在保持稀疏性方面具有良好的性能. 展开更多
关键词 机器学习 非光滑损失函数问题 投影次梯度方法 Nesterov步长策略 个体收敛速率 稀疏学习
在线阅读 下载PDF
多个体切换网络中带有时延通信的分布式次梯度优化算法 被引量:3
4
作者 王俊雅 李甲地 李德权 《计算机科学》 CSCD 北大核心 2019年第7期81-85,共5页
在一般的非平衡有向切换网络中,网络中的个体间可能存在通信时延现象。针对该情况,文中提出了多个体切换网络中带有时延通信的分布式次梯度优化算法。在该算法中,通过对通信网络进行扩维,将存在通信时延的无约束凸优化问题转化为无时延... 在一般的非平衡有向切换网络中,网络中的个体间可能存在通信时延现象。针对该情况,文中提出了多个体切换网络中带有时延通信的分布式次梯度优化算法。在该算法中,通过对通信网络进行扩维,将存在通信时延的无约束凸优化问题转化为无时延的无约束凸优化问题进行解决。利用非二次李雅普诺夫函数法证明了只要非平衡有向切换网络是周期强连通的以及通信时延有上界,那么基于时延通信的分布式次梯度优化算法就是收敛的。由于集中考虑了网络拓扑与通信时延,该算法更贴合实际情况。最后通过仿真实验验证了算法的有效性。 展开更多
关键词 切换网络 通信时延 随机矩阵 次梯度方法 非二次李雅普诺夫函数
在线阅读 下载PDF
带有二次约束的一般二次规划问题的松弛分枝定界方法 被引量:2
5
作者 高岳林 徐成贤 《西安交通大学学报》 EI CAS CSCD 北大核心 2002年第8期871-874,共4页
考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略... 考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略剖分可行域为小的椭球 ,用投影次梯度算法解松弛二次规划问题的拉格朗日对偶问题 ,从而获得原问题的一个下界 .原问题最优值的一个上界可从迭代过程中的可行点得到 ,并在迭代过程中得到调整 .该算法或在原问题最优值的上下界相同时终止 ,得到原问题的整体最优解 ;或产生一无限序列 。 展开更多
关键词 二次约束 二次规划 松弛分支定界方法 整体优化 拉格朗日对偶 投影次梯度方法 整体最优解
在线阅读 下载PDF
解带有二次约束二次规划的一个整体优化方法(英文) 被引量:2
6
作者 高岳林 徐成贤 《运筹学学报》 CSCD 北大核心 2002年第2期53-60,共8页
在本文中,我们提出了一种解带有二次约束二次规划问题(QP)的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题(QP)最优值的下界.在问题(QP)... 在本文中,我们提出了一种解带有二次约束二次规划问题(QP)的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题(QP)最优值的下界.在问题(QP)的可行域是n维的条件下,如果这个算法有限步后终止,得到的点必是问题(QP)的整体最优解;否则,该算法产生的点的序列{vk}的每一个聚点也必是问题(QP)的整体最优解. 展开更多
关键词 二次约束二次规划 分枝定界 整体优化 拉格朗日松驰 拉格朗日对偶 投影次梯度方法
在线阅读 下载PDF
基于拉格朗日下界求解的炼钢-连铸生产调度方法 被引量:3
7
作者 韩大勇 唐秋华 +1 位作者 张利平 张启敏 《武汉科技大学学报》 CAS 北大核心 2016年第5期353-360,共8页
为提高炼钢-连铸生产效率,以加权总完工时间、作业等待惩罚总和最小化为目标,基于时间索引建立数学规划模型。在证明原问题、松弛问题、对偶问题三者最优解关系基础上,将机器容量约束松弛到目标函数中,运用次梯度算法求原问题下界,得到... 为提高炼钢-连铸生产效率,以加权总完工时间、作业等待惩罚总和最小化为目标,基于时间索引建立数学规划模型。在证明原问题、松弛问题、对偶问题三者最优解关系基础上,将机器容量约束松弛到目标函数中,运用次梯度算法求原问题下界,得到各炉次的开始时间序列。为消除松弛解中的有向环,采用融入启发式规则的列表调度,按照机器可用性优先原则,将炉次均衡地指派到各个加工机器上。利用GAMS/Cplex软件对18个调度算例进行测试运算,结果表明以较少的计算代价可以得到令人满意的近优解,因此本文提出的基于拉格朗日下界求解的方法对炼钢-连铸生产调度问题是可行的和有效的。 展开更多
关键词 炼钢-连铸 生产调度 拉格朗日松弛算法 对偶问题 次梯度方法 启发式规则
在线阅读 下载PDF
分布式多自主体优化问题中的概率量化影响研究 被引量:4
8
作者 袁德明 徐胜元 +1 位作者 赵环宇 沈浩 《南京理工大学学报》 EI CAS CSCD 北大核心 2011年第2期209-212,共4页
考虑一个由多个自主体构成的网络,网络中每个自主体拥有一个只有自己知晓的局部目标函数,研究优化所有局部目标函数和的问题。基于一致性算法基本思想并结合次梯度方法解决了固定的网络拓扑结构且自主体之间交换的信息是经过概率量化的... 考虑一个由多个自主体构成的网络,网络中每个自主体拥有一个只有自己知晓的局部目标函数,研究优化所有局部目标函数和的问题。基于一致性算法基本思想并结合次梯度方法解决了固定的网络拓扑结构且自主体之间交换的信息是经过概率量化的分布式多自主体优化问题。得到一个与量化精度和网络连接度有关的关于收敛速率的上界。当步长固定时,该上界可保证网络中的每个自主体的状态值收敛到最优解附近。 展开更多
关键词 多自主体系统 一致性算法 次梯度方法 概率量化
在线阅读 下载PDF
基于相对状态符号信息的分布式优化算法 被引量:2
9
作者 张家绮 游科友 《南京信息工程大学学报(自然科学版)》 CAS 2018年第6期647-657,773,774,共13页
针对网络化多智能体的分布式优化问题,本文讨论一种只利用邻居相对状态的符号信息的分布式算法.该算法不要求与图相关的权重矩阵是双随机矩阵.首先利用优化理论中的惩罚函数法解释该算法,然后分析算法在静态图上的收敛性以及收敛速度.... 针对网络化多智能体的分布式优化问题,本文讨论一种只利用邻居相对状态的符号信息的分布式算法.该算法不要求与图相关的权重矩阵是双随机矩阵.首先利用优化理论中的惩罚函数法解释该算法,然后分析算法在静态图上的收敛性以及收敛速度.与现有使用邻居相对状态的完整信息的分布式梯度下降算法相比,所提算法的收敛速度并没有本质上降低.另一方面,将所提算法扩展到确定性和随机性的时变图上,并给出相应的收敛性结论.最后,通过数值仿真实验验证算法的有效性. 展开更多
关键词 分布式优化 多智能体网络 相对状态符号 惩罚函数法 次梯度方法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部