基于留一准则的正交前向选择算法(Orthogonal Forward Selection based on Leave-One-Out Criteria,OFS-LOO)是最近提出的一种数据建模方法,它能够产生鲁棒性好的参数可调的核函数回归模型。OFS-LOO采用贪婪算法策略,利用全局优化算法...基于留一准则的正交前向选择算法(Orthogonal Forward Selection based on Leave-One-Out Criteria,OFS-LOO)是最近提出的一种数据建模方法,它能够产生鲁棒性好的参数可调的核函数回归模型。OFS-LOO采用贪婪算法策略,利用全局优化算法逐项调节每个回归项的参数,逐步地增加模型的项数,减少留一准则函数值。但是OFS-LOO仅保留当前最优解作为新回归项的参数,而忽略当前的选择对以后步骤的影响,破坏了模型的稀疏性。本文在OFS-LOO的框架下提出了一种新颖的树型算法。在选择核函数模型的每一项时,采用重复加权增进搜索(Repeated Weighted Boosting Search,RWBS)算法,同时保留RWBS得到的多个局部极值作为核函数参数的候选项。新方法试图找到传统OFS-LOO和全局最优解之间的折衷。实验表明,与传统方法相比,新方法得到的核函数模型稀疏性更好,泛化能力更强。展开更多
文摘基于留一准则的正交前向选择算法(Orthogonal Forward Selection based on Leave-One-Out Criteria,OFS-LOO)是最近提出的一种数据建模方法,它能够产生鲁棒性好的参数可调的核函数回归模型。OFS-LOO采用贪婪算法策略,利用全局优化算法逐项调节每个回归项的参数,逐步地增加模型的项数,减少留一准则函数值。但是OFS-LOO仅保留当前最优解作为新回归项的参数,而忽略当前的选择对以后步骤的影响,破坏了模型的稀疏性。本文在OFS-LOO的框架下提出了一种新颖的树型算法。在选择核函数模型的每一项时,采用重复加权增进搜索(Repeated Weighted Boosting Search,RWBS)算法,同时保留RWBS得到的多个局部极值作为核函数参数的候选项。新方法试图找到传统OFS-LOO和全局最优解之间的折衷。实验表明,与传统方法相比,新方法得到的核函数模型稀疏性更好,泛化能力更强。
