期刊文献+
共找到5篇文章
< 1 >
每页显示 20 50 100
线性插值投影次梯度方法的最优个体收敛速率 被引量:6
1
作者 陶蔚 潘志松 +1 位作者 朱小辉 陶卿 《计算机研究与发展》 EI CSCD 北大核心 2017年第3期529-536,共8页
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在... 投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能. 展开更多
关键词 一阶梯度方法 个体收敛速率 投影次梯度方法 线性插值操作 对偶平均方法
在线阅读 下载PDF
非Lipschitz集值混合变分不等式的一个投影次梯度方法 被引量:5
2
作者 唐国吉 黄南京 《应用数学和力学》 CSCD 北大核心 2011年第10期1254-1264,共11页
建立了一个投影次梯度方法来求解一类集值混合变分不等式,其中相关的映象不必是Lipschitz连续的.在合适的条件下,证明了在Hilbert空间中该方法产生的序列强收敛于问题的唯一解.
关键词 集值混合变分不等式 投影次梯度方法 非Lipschitz映象 收敛性
在线阅读 下载PDF
使用Nesterov步长策略投影次梯度方法的个体收敛性 被引量:17
3
作者 陶蔚 潘志松 +1 位作者 储德军 陶卿 《计算机学报》 EI CSCD 北大核心 2018年第1期164-176,共13页
很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经... 很多机器学习问题都可以最终转换为优化问题来进行求解,凸优化算法已经被成功用于各种机器学习优化问题中,而在优化算法的研究中是否能获得最优的收敛速率是一个最基本问题.此外,稀疏性是稀疏学习问题中关注的另一个目标.目前,人们已经提出了大量的随机优化方法求解大规模机器学习优化问题,但大部分的研究只是针对平均输出方式获得了最优收敛速率.个体输出方式显然比平均方式的输出具有更好的稀疏性,但使个体收敛速率获得最优具有一定的难度,人们已经将强凸情形下的最优个体收敛性作为公开问题进行广泛研究.对于光滑目标函数的优化问题,著名学者Nesterov提出了一种步长策略,使得梯度方法的收敛速率获得了数量级形式的加速,并且获得了最优的个体收敛速率.目前,Nesterov加速算法已经应用于各种具有光滑损失函数机器学习优化问题中,研究者基于该加速策略提出了大量的随机优化算法.能否将这种技巧推广至非光滑情形获得最优的个体收敛速率显然是有意义的问题.文中考虑在非光滑优化算法中引入这种步长策略.特别地,我们聚焦经典的一阶梯度方法,提出了一种嵌入加速算法步长策略的投影次梯度算法,证明了这种算法在求解非光滑损失函数学习问题时具有最优的个体收敛速率.这是比标准投影次梯度方法只有在平均输出方式下才具有最优收敛速率更强的结论,也是一阶梯度方法在个体最优收敛速率方面比较接近于大家期待的研究成果.与平均方式输出以及线性插值的投影次梯度方法相比,该文所提方法的梯度运算在插值策略之后,因此在求解l1范数约束的hinge损失函数学习问题时具有更好的稀疏性.人工数据集上的实验验证了所提方法的正确性,基准数据集上验证了该方法在保持稀疏性方面具有良好的性能. 展开更多
关键词 机器学习 非光滑损失函数问题 投影次梯度方法 Nesterov步长策略 个体收敛速率 稀疏学习
在线阅读 下载PDF
带有二次约束的一般二次规划问题的松弛分枝定界方法 被引量:2
4
作者 高岳林 徐成贤 《西安交通大学学报》 EI CAS CSCD 北大核心 2002年第8期871-874,共4页
考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略... 考虑带有二次约束的一般二次规划问题的求解 ,当约束条件为非凸二次函数时 ,对原问题中的某个二次约束进行凸二次松弛 ,或在原问题的约束条件中增加一个球约束 ,使得原问题的可行域包含在松弛二次规划问题的可行域内 .采用椭球剖分策略剖分可行域为小的椭球 ,用投影次梯度算法解松弛二次规划问题的拉格朗日对偶问题 ,从而获得原问题的一个下界 .原问题最优值的一个上界可从迭代过程中的可行点得到 ,并在迭代过程中得到调整 .该算法或在原问题最优值的上下界相同时终止 ,得到原问题的整体最优解 ;或产生一无限序列 。 展开更多
关键词 二次约束 二次规划 松弛分支定界方法 整体优化 拉格朗日对偶 投影次梯度方法 整体最优解
在线阅读 下载PDF
解带有二次约束二次规划的一个整体优化方法(英文) 被引量:2
5
作者 高岳林 徐成贤 《运筹学学报》 CSCD 北大核心 2002年第2期53-60,共8页
在本文中,我们提出了一种解带有二次约束二次规划问题(QP)的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题(QP)最优值的下界.在问题(QP)... 在本文中,我们提出了一种解带有二次约束二次规划问题(QP)的新算法.这种方法是基于单纯形分枝定界技术,其中包括极小极大问题和线性规划问题作为子问题.利用拉格朗日松弛和投影次梯度方法来确定问题(QP)最优值的下界.在问题(QP)的可行域是n维的条件下,如果这个算法有限步后终止,得到的点必是问题(QP)的整体最优解;否则,该算法产生的点的序列{vk}的每一个聚点也必是问题(QP)的整体最优解. 展开更多
关键词 二次约束二次规划 分枝定界 整体优化 拉格朗日松驰 拉格朗日对偶 投影次梯度方法
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部