-
题名机器学习随机优化方法的个体收敛性研究综述
被引量：7
- 1
-
-
作者
陶卿
马坡
张梦晗
陶蔚
-
机构
中国人民解放军陆军军官学院十一系
解放军理工大学指挥信息系统学院
-
出处
《数据采集与处理》
CSCD
北大核心
2017年第1期17-25,共9页
-
基金
国家自然科学基金(61673394
61273296)资助项目
-
文摘
随机优化方法是求解大规模机器学习问题的主流方法,其研究的焦点问题是算法是否达到最优收敛速率与能否保证学习问题的结构。目前,正则化损失函数问题已得到了众多形式的随机优化算法,但绝大多数只是对迭代进行平均的输出方式讨论了收敛速率,甚至无法保证最为典型的稀疏结构。与之不同的是,个体解能很好保持稀疏性,其最优收敛速率已经作为open问题被广泛探索。另外,随机优化普遍采用的梯度无偏假设往往不成立,加速方法收敛界中的偏差在有偏情形下会随迭代累积,从而无法应用。本文对一阶随机梯度方法的研究现状及存在的问题进行综述,其中包括个体收敛速率、梯度有偏情形以及非凸优化问题,并在此基础上指出了一些值得研究的问题。
-
关键词
机器学习
随机优化
个体收敛性
有偏梯度估计
非凸问题
-
Keywords
machine learning
stochastic optimization
individual convergence
biased gradient estima tion
non-convex problems
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名线性插值投影次梯度方法的最优个体收敛速率
被引量：6
- 2
-
-
作者
陶蔚
潘志松
朱小辉
陶卿
-
机构
中国人民解放军理工大学指挥信息系统学院
中国人民解放军陆军军官学院十一系
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2017年第3期529-536,共8页
-
基金
国家自然科学基金项目(61673394
61273296)~~
-
文摘
投影次梯度算法(projected subgradient method,PSM)是求解非光滑约束优化问题最简单的一阶梯度方法,目前只是对所有迭代进行加权平均的输出方式得到最优收敛速率,其个体收敛速率问题甚至作为open问题被提及.最近,Nesterov和Shikhman在对偶平均方法(dual averaging method,DAM)的迭代中嵌入一种线性插值操作,得到一种拟单调的求解非光滑问题的次梯度方法,并证明了在一般凸情形下具有个体最优收敛速率,但其讨论仅限于对偶平均方法.通过使用相同技巧,提出了一种嵌入线性插值操作的投影次梯度方法,与线性插值对偶平均方法不同的是,所提方法还对投影次梯度方法本身进行了适当的修改以确保个体收敛性.同时证明了该方法在一般凸情形下可以获得个体最优收敛速率,并进一步将所获结论推广至随机方法情形.实验验证了理论分析的正确性以及所提算法在保持实时稳定性方面的良好性能.
-
关键词
一阶梯度方法
个体收敛速率
投影次梯度方法
线性插值操作
对偶平均方法
-
Keywords
first-order method
individual convergence rate
projected subgradient method
linear interpolation operation
dual averaging method
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名一种减小方差求解非光滑问题的随机优化算法
被引量：6
- 3
-
-
作者
朱小辉
陶卿
邵言剑
储德军
-
机构
中国人民解放军陆军军官学院十一系
-
出处
《软件学报》
EI
CSCD
北大核心
2015年第11期2752-2761,共10页
-
基金
国家自然科学基金(61273296)
安徽省自然科学基金(1308085QF121)
-
文摘
随机优化算法是求解大规模机器学习问题的高效方法之一.随机学习算法使用随机抽取的单个样本梯度代替全梯度,有效节省了计算量,但却会导致较大的方差.近期的研究结果表明:在光滑损失优化问题中使用减小方差策略,能够有效提高随机梯度算法的收敛速率.考虑求解非光滑损失问题随机优化算法COMID(composite objective mirror descent)的方差减小问题.首先证明了COMID具有方差形式的(O1T1/2+σ2/T1/2)收敛速率,其中,T是迭代步数,σ2是方差.该收敛速率保证了减小方差的有效性,进而在COMID中引入减小方差的策略,得到一种随机优化算法α-MDVR(mirror descent with variance reduction).不同于Prox-SVRG(proximal stochastic variance reduced gradient),α-MDVR收敛速率不依赖于样本数目,每次迭代只使用部分样本来修正梯度.对比实验验证了α-MDVR既减小了方差,又节省了计算时间.
-
关键词
机器学习
随机算法
非光滑
方差
COMPOSITE
objective
MIRROR
descent(COMID)
-
Keywords
machine learning
stochastic algorithm
non-smooth
variance
composite objective mirror descent （COMID）
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名求解AUC优化问题的对偶坐标下降方法
被引量：2
- 4
-
-
作者
姜纪远
陶卿
高乾坤
储德军
-
机构
中国人民解放军陆军军官学院十一系
-
出处
《软件学报》
EI
CSCD
北大核心
2014年第10期2282-2292,共11页
-
基金
国家自然科学基金(61273296
60975040)
安徽省自然科学基金(1308085QF121)
-
文摘
AUC被广泛作为衡量不平衡数据分类性能的评价标准.与二分类问题不同,AUC问题的损失函数由来自两个不同类别的样本对组成.如何提高其实际收敛速度,是一个值得研究的问题.目前的研究结果表明:使用reservoir sampling技术的在线方法(OAM)表现出很好的AUC性能,但OAM仍存在诸如收敛速度慢、参数选择复杂等缺点.针对AUC优化问题的对偶坐标下降(AUC-DCD)方法进行了系统的研究,给出3种算法,即AUC-SDCD,AUCSDCDperm和AUC-MSGD,其中,AUC-SDCD和AUC-SDCDperm与样本数目有关,AUC-MSGD与样本数目无关.理论分析指出,OAM是AUC-DCD的一种特殊情形.实验结果表明,AUC-DCD在AUC性能和收敛速度两方面均优于OAM.研究结果表明,AUC-DCD是求解AUC优化问题的首选方法.
-
关键词
机器学习
优化方法
AUC
对偶坐标下降
支持向量机
-
Keywords
machine learning
optimization method
AUC
dual coordinate descent
support vector machine
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名随机COMID的瞬时收敛速率分析
被引量：1
- 5
-
-
作者
姜纪远
陶卿
邵言剑
汪群山
-
机构
中国人民解放军陆军军官学院十一系
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2015年第9期1850-1858,共9页
-
基金
国家自然科学基金(No.61273296
No.60975040)
安徽省自然科学基金(No.1308085QF121)
-
文摘
COMID(Composite Objective MIrror Descent)是一种能够保证L1正则化结构的在线算法,其随机收敛速率可由在线算法的regret界直接得到,但其最终解是T次迭代平均的形式,稀疏性很差.瞬时解具有很好的稀疏性,因此分析算法的瞬时收敛速率在随机学习中变得越来越重要.本文讨论正则化非光滑损失的随机优化问题,当正则化项为L1和L1+L2时,分别证明了COMID的瞬时收敛速率.大规模数据库上的实验表明,在保证几乎相同正确率的同时,瞬时解一致地提高了稀疏性,尤其是对稀疏性较差的数据库,稀疏度甚至能够提升4倍以上.
-
关键词
机器学习
随机优化
非光滑优化
L1正则化
COMID
瞬时收敛速率
-
Keywords
machine learning
stochastic optimization
non-smooth optimization
L1 regularization
COMID
individual convergence rate
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
-
题名一种求解强凸优化问题的最优随机算法
被引量：11
- 6
-
-
作者
邵言剑
陶卿
姜纪远
周柏
-
机构
中国人民解放军陆军军官学院十一系
-
出处
《软件学报》
EI
CSCD
北大核心
2014年第9期2160-2171,共12页
-
基金
国家自然科学基金(61273296)
-
文摘
随机梯度下降(SGD)算法是处理大规模数据的有效方法之一.黑箱方法SGD在强凸条件下能达到最优的O(1/T)收敛速率,但对于求解L1+L2正则化学习问题的结构优化算法,如COMID(composite objective mirror descent)仅具有O(lnT/T)的收敛速率.提出一种能够保证稀疏性基于COMID的加权算法,证明了其不仅具有O(1/T)的收敛速率,还具有on-the-fly计算的优点,从而减少了计算代价.实验结果表明了理论分析的正确性和所提算法的有效性.
-
关键词
机器学习
随机优化
强凸问题
混合正则化项
COMID
(composite
objective
MIRROR
descent)
-
Keywords
machine learning
stochastic optimization
strongly-convex
hybrid regularization
COMID（composite objective mirror descent）
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
-
题名一种面向在线查询的拼写纠错算法
被引量：1
- 7
-
-
作者
王秀珍
丛瑞
王飞
-
机构
中国人民解放军陆军军官学院十一系计算机教研室
-
出处
《计算机工程与应用》
CSCD
北大核心
2015年第14期113-119,共7页
-
文摘
搜索引擎中,在线拼写纠错根据用户查询输入补全用户查询,并给出正确的拼写建议。提出了一种面向查询补全的在线拼写纠错算法。基于真实查询的噪声信道转换方式,算法建立了用户查询输入的生成模型;利用拼写纠错对,算法采用期望最大化算法训练能捕获用户误拼行为的马尔科夫N语法转换模型;算法采用不同剪枝策略的启发式改进A*搜索算法以实现实时给出纠错补全建议。实验结果表明,提出的算法相比其他同类算法更有效。
-
关键词
拼写纠错
查询补全
期望最大化算法
N语法语言模型
-
Keywords
spelling correction
query completion
expectation-maximization
N-gram language model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
