-
题名ELM网络结构自适应正交搜索算法
被引量：6
- 1
-
-
作者
徐睿
梁循
马跃峰
齐金山
-
机构
中国人民大学信息学院
曲阜师范大学信息科学与工程学院
淮阴师范学院计算机科学与技术学院
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2021年第9期1888-1906,共19页
-
基金
国家自然科学基金(62072463,71531012)
国家社会科学基金重大项目(18ZDA309)
+4 种基金
北京市自然科学基金(4172032)
京东商城电子商务研究项目(413313012)
北大方正集团有限公司数字出版技术国家重点实验室开放课题
江苏省高校自然科学基金项目(19KJB520024)
江苏省大学生实践创新训练计划项目(201910323057Y)资助
-
文摘
由于具有灵活的非线性建模能力和良好的模式识别能力,单隐藏层前馈神经网络(Single Hidden Layer Feedforward Neural Network,SLFN)一直是机器学习和数据挖掘领域关注的焦点.众所周知,网络结构是影响SLFN泛化能力的重要因素之一.给定一个具体应用,如何在训练过程中自动选取最优的隐节点个数,仍是一大挑战.极限学习机(Extreme Learning Machine,ELM)通过随机生成隐藏层节点参数,并利用最小二乘法求解输出层权值的方式来训练SLFN,在一定程度上克服了传统的基于梯度类学习方法收敛速度慢、容易陷入局部最小值等问题.然而,ELM仍需要人为确定隐节点个数,不仅过程繁琐,而且无法保证得到最优或者次优的网络结构.在不影响泛化能力的前提下,为了进一步降低网络的复杂度,本文对ELM进行了改进,通过将网络结构学习转化为子集模型选择,提出了一种隐节点自适应正交搜索方法.首先,利用标准ELM构建隐节点候选池.然后,采用正交前向选择算法选择与网络期望输出相关度最大的候选隐节点加入到模型中.同时,每向前引入一个新的隐节点,就要向后对已选入的隐节点进行逐个检查,将变得不重要的隐节点从网络中删除.最后,设计了一种增强的向后移除策略来纠正前面步骤中所犯的错误,进一步剔除模型内残留的冗余隐节点.本文方法充分考虑了隐节点间的内在联系和相互影响,实验结果表明,该方法不仅具有良好的泛化性能,而且能够产生比较紧凑的网络结构.
-
关键词
子集模型选择
紧凑网络结构
极限学习机
正交前向选择
正交后向移除
颜色恒常性计算
-
Keywords
subset model selection
parsimonious network structure
extreme learning machine
orthogonal forward selection
orthogonal backward elimination
color constancy computation
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
