-
题名随机COMID的瞬时收敛速率分析
被引量：1
- 1
-
-
作者
姜纪远
陶卿
邵言剑
汪群山
-
机构
中国人民解放军陆军军官学院十一系
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2015年第9期1850-1858,共9页
-
基金
国家自然科学基金(No.61273296
No.60975040)
安徽省自然科学基金(No.1308085QF121)
-
文摘
COMID(Composite Objective MIrror Descent)是一种能够保证L1正则化结构的在线算法,其随机收敛速率可由在线算法的regret界直接得到,但其最终解是T次迭代平均的形式,稀疏性很差.瞬时解具有很好的稀疏性,因此分析算法的瞬时收敛速率在随机学习中变得越来越重要.本文讨论正则化非光滑损失的随机优化问题,当正则化项为L1和L1+L2时,分别证明了COMID的瞬时收敛速率.大规模数据库上的实验表明,在保证几乎相同正确率的同时,瞬时解一致地提高了稀疏性,尤其是对稀疏性较差的数据库,稀疏度甚至能够提升4倍以上.
-
关键词
机器学习
随机优化
非光滑优化
L1正则化
COMID
瞬时收敛速率
-
Keywords
machine learning
stochastic optimization
non-smooth optimization
L1 regularization
COMID
individual convergence rate
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
