小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的...小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation,FSWNN-SC).首先,使用网络正则化方法对规则前馈神经网络进行预训练,基于突触巩固机制,断开网络不重要的权值连接,保留重要的连接权值;其次,设计重连规则构造小世界神经网络,在保证网络小世界属性的同时实现网络稀疏化,并使用梯度下降算法训练网络;最后,通过4个UCI基准数据集和2个真实数据集进行模型性能测试,并使用Wilcoxon符号秩检验对对比模型进行显著性差异检验.实验结果表明:所提出的FSWNN-SC模型在获得紧凑的网络结构的同时,其精度显著优于规则前馈神经网络及其他WS型小世界神经网络.展开更多
文摘小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation,FSWNN-SC).首先,使用网络正则化方法对规则前馈神经网络进行预训练,基于突触巩固机制,断开网络不重要的权值连接,保留重要的连接权值;其次,设计重连规则构造小世界神经网络,在保证网络小世界属性的同时实现网络稀疏化,并使用梯度下降算法训练网络;最后,通过4个UCI基准数据集和2个真实数据集进行模型性能测试,并使用Wilcoxon符号秩检验对对比模型进行显著性差异检验.实验结果表明:所提出的FSWNN-SC模型在获得紧凑的网络结构的同时,其精度显著优于规则前馈神经网络及其他WS型小世界神经网络.
