-
题名支持向量学习的多参数同时调节
被引量：1
- 1
-
-
作者
丁立中
贾磊
廖士中
-
机构
天津大学计算机科学与技术学院
-
出处
《软件学报》
EI
CSCD
北大核心
2014年第9期2149-2159,共11页
-
基金
国家自然科学基金(61170019)
-
文摘
模型选择是支持向量学习的关键问题.已有模型选择方法采用嵌套的双层优化框架,内层执行支持向量学习,外层通过最小化泛化误差的估计进行模型选择.该框架过程复杂,计算效率低.简化传统的双层优化框架,提出一个支持向量学习的多参数同时调节方法,在同一优化过程中实现模型选择和学习器训练.首先,将支持向量学习中的参数和超参数合并为一个参数向量,利用序贯无约束极小化技术(sequential unconstrained minimization technique,简称SUMT)分别改写支持向量分类和回归的有约束优化问题,得到多参数同时调节模型的多元无约束形式定义;然后,证明多参数同时调节模型目标函数的局部Lipschitz连续性及水平集有界性.在此基础上,应用变尺度方法(variable metric method,简称VMM)设计并实现了多参数同时调节算法.进一步地,基于多参数同时调节模型的性质,证明了算法收敛性,对比分析了算法复杂性.最后,实验验证同时调节算法的收敛性,并实验对比同时调节算法的有效性.理论证明和实验分析表明,同时调节方法是一种坚实、高效的支持向量模型选择方法.
-
关键词
核方法
支持向量学习
模型选择
参数调节
序贯无约束极小化技术
-
Keywords
kernel method
support vector learning
model selection
parameter tuning
SUMT（sequential unconstrained minimization technique）
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-
-
题名可行方向SUMT外点法的研究及应用
被引量：5
- 2
-
-
作者
龙腾
刘莉
李怀建
杜小菁
-
机构
北京理工大学宇航学院
-
出处
《系统工程与电子技术》
EI
CSCD
北大核心
2011年第3期685-689,共5页
-
基金
国家自然科学基金(50875024)
科工委国防创新团队资助(GFTD0803)
北京理工大学优秀青年教师资助计划(2010Y0102)资助课题
-
文摘
针对序列无约束极小化技术(sequential unconstrained minimization technology,SUMT)外点法中由于设计变量越界而导致优化失败的问题,分析了设计变量越界的原因,将SUMT外点法和可行方向法相结合,提出了一种可行方向SUMT(feasible direction SUMT,FD-SUMT)外点法。用可行方向法的思想处理设计变量的约束,将搜索空间限定在设计变量可行域内。与传统的SUMT外点法相比,该方法除实现简单外,更具有鲁棒性高、收敛快等优点。通过数值算例和工程应用实例验证了FD-SUMT外点法的性能。优化结果表明,该方法消除了设计变量越界的情况,收敛速度和鲁棒性明显高于传统的SUMT外点法,而且初值选取容易,具有工程实用性。
-
关键词
序列无约束极小化技术外点法
可行方向
可行域
优化
-
Keywords
sequential unconstrained minimization technology（SUMT） exterior penalty method
feasible direction
feasible domain
optimization
-
分类号
V221.6
[航空宇航科学与技术—飞行器设计]
-
