针对循环神经网络(recurrent neural network,RNN)的结构不易确定、参数学习过程复杂等问题,提出一种增量构造式随机循环神经网络(incremental-construction for random RNN,IRRNN),实现了RNN结构的增量构造与参数的随机学习.首先建立...针对循环神经网络(recurrent neural network,RNN)的结构不易确定、参数学习过程复杂等问题,提出一种增量构造式随机循环神经网络(incremental-construction for random RNN,IRRNN),实现了RNN结构的增量构造与参数的随机学习.首先建立隐含节点增量构造的约束机制,同时利用候选节点池策略实现隐含节点的优选,避免了网络随机构造的盲目性;进一步,从模型参数的局部优化与全局优化两个角度考虑,提出模型参数的两种增量随机(incremental random,IR)学习方法,即IR-1与IR-2,并证明了其万能逼近特性;同时通过研究IRRNN的动态特性,分析了IRRNN的泛化性能.通过实验验证了IRRNN在动态特性、紧凑性和精度等多个方面具有良好特性.展开更多
文摘针对循环神经网络(recurrent neural network,RNN)的结构不易确定、参数学习过程复杂等问题,提出一种增量构造式随机循环神经网络(incremental-construction for random RNN,IRRNN),实现了RNN结构的增量构造与参数的随机学习.首先建立隐含节点增量构造的约束机制,同时利用候选节点池策略实现隐含节点的优选,避免了网络随机构造的盲目性;进一步,从模型参数的局部优化与全局优化两个角度考虑,提出模型参数的两种增量随机(incremental random,IR)学习方法,即IR-1与IR-2,并证明了其万能逼近特性;同时通过研究IRRNN的动态特性,分析了IRRNN的泛化性能.通过实验验证了IRRNN在动态特性、紧凑性和精度等多个方面具有良好特性.
