期刊文献+
共找到156篇文章
< 1 2 8 >
每页显示 20 50 100
递归pi-sigma神经网络的带惩罚项的梯度算法分析 被引量:2
1
作者 喻昕 邓飞 《计算机工程与应用》 CSCD 2013年第4期43-46,共4页
传统的梯度算法存在收敛速度过慢的问题,针对这个问题,提出一种将惩罚项加到传统误差函数的梯度算法以训练递归pi-sigma神经网络,算法不仅提高了神经网络的泛化能力,而且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,相比... 传统的梯度算法存在收敛速度过慢的问题,针对这个问题,提出一种将惩罚项加到传统误差函数的梯度算法以训练递归pi-sigma神经网络,算法不仅提高了神经网络的泛化能力,而且克服了因网络初始权值选取过小而导致的收敛速度过慢的问题,相比不带惩罚项的梯度算法提高了收敛速度。从理论上分析了带惩罚项的梯度算法的收敛性,并通过实验验证了算法的有效性。 展开更多
关键词 递归pi-sigma神经网络 梯度 惩罚项 收敛性
在线阅读 下载PDF
线性矩阵方程的梯度法神经网络求解及其仿真验证 被引量:8
2
作者 张雨浓 张禹珩 +2 位作者 陈轲 蔡炳煌 马伟木 《中山大学学报(自然科学版)》 CAS CSCD 北大核心 2008年第3期26-32,共7页
介绍一种基于梯度法的Hopfield神经网络在线求解线性矩阵方程,并且探讨其MATLAB仿真技术以验证该神经网络在求解线性矩阵方程问题时的准确性和有效性。仿真过程中用以下几种重要技术手段:①Kroneck-er乘积,用来将描述该神经网络的矩阵... 介绍一种基于梯度法的Hopfield神经网络在线求解线性矩阵方程,并且探讨其MATLAB仿真技术以验证该神经网络在求解线性矩阵方程问题时的准确性和有效性。仿真过程中用以下几种重要技术手段:①Kroneck-er乘积,用来将描述该神经网络的矩阵微分方程(MDE)转化为向量微分方程(VDE),即标准的给定初始值常微分方程(ODE);②MATLAB指令"ode45",用来仿真上述转化后的给定初始值常微分方程;③各种激励函数的编码实现,用以检验该神经网络系统的收敛性和存在实现误差时的鲁棒性。仿真结果同理论分析的对应与一致,进一步证实基于梯度法的Hopfield神经网络在求解固定系数线性矩阵方程中具有很好的效验。 展开更多
关键词 梯度 归神经网络 线性矩阵方程 KRONECKER乘积 MATLAB仿真
在线阅读 下载PDF
一种基于共轭梯度法的广义单隐层神经网络 被引量:5
3
作者 孙峰 龚晓玲 +2 位作者 张炳杰 柳毓松 王延江 《郑州大学学报(工学版)》 CAS 北大核心 2018年第2期28-32,共5页
单隐层前馈神经网络是一种高效且结构简单的神经网络,它的一种典型的学习算法就是误差反向传播(error back propagation,BP)算法.这种算法基于最速下降法原理,主要缺点是学习速度过慢.超限学习机(extreme learning machine,ELM)极大地... 单隐层前馈神经网络是一种高效且结构简单的神经网络,它的一种典型的学习算法就是误差反向传播(error back propagation,BP)算法.这种算法基于最速下降法原理,主要缺点是学习速度过慢.超限学习机(extreme learning machine,ELM)极大地优化了单隐层神经网络的学习速度,却需要更多的隐层单元来达到与BP网络相当的效率,这不可避免地使网络结构冗余、测试时间变长.受到一种结合了ELM和最速下降法思想的USA(upper-layer-solution-aware)算法的启发,提出一种基于共轭梯度法的单隐层神经网络快速算法,并把它应用于不同数据库中.试验结果表明,在相同网络结构情况下,本算法的效率要优于ELM和USA算法. 展开更多
关键词 神经网络 反向传播 超限学习机 共轭梯度 MNIST
在线阅读 下载PDF
前馈神经网络的一种简单共轭梯度学习算法 被引量:10
4
作者 梁久祯 何新贵 黄德双 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2000年第5期596-599,共4页
针对前馈神经网络学习误差函数维数高、计算复杂度大的特点 ,对梯度下降BP算法加以改进从而构造出一种简单共轭梯度下降算法 (MPARTAN算法 ) .该算法计算复杂度不高于动量BP算法 ,与FR共轭梯度法相比 ,该算法的稳定性好 ,又具有共轭梯... 针对前馈神经网络学习误差函数维数高、计算复杂度大的特点 ,对梯度下降BP算法加以改进从而构造出一种简单共轭梯度下降算法 (MPARTAN算法 ) .该算法计算复杂度不高于动量BP算法 ,与FR共轭梯度法相比 ,该算法的稳定性好 ,又具有共轭梯度法的优点 ,收敛速度快 .文中给出了该算法的收敛定理 ,并用 2个实验例子比较了动量BP算法。 展开更多
关键词 前馈神经网络 共轭梯度 BP算 MPARTAN算
在线阅读 下载PDF
多层神经网络共轭梯度优化算法及其在模式识别中的应用 被引量:16
5
作者 侯祥林 张春晖 徐心和 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 2002年第1期20-23,共4页
将神经网络总体平均误差作为目标函数 ,以待求的神经网络权值和阈值作为设计变量 ,通过设计变量合理排序与分配 ,提出多隐层多层神经网络权值和阈值计算的高精度真实共轭梯度最优化算法·与BP算法和梯度优化算法相比 ,既能实现每步... 将神经网络总体平均误差作为目标函数 ,以待求的神经网络权值和阈值作为设计变量 ,通过设计变量合理排序与分配 ,提出多隐层多层神经网络权值和阈值计算的高精度真实共轭梯度最优化算法·与BP算法和梯度优化算法相比 ,既能实现每步迭代在搜索方向上获得最优步长保证目标函数递减 ,又能克服在目标点附近的振荡现象·编制出神经网络权值和阈值计算的通用程序 ,给出神经网络合理结构选择的基本原理·通过足球机器人位置分析算例的神经网络分析和模式识别 ,表明所提出算法的有效性和实际应用价值· 展开更多
关键词 最优化方 共轭梯度 多层神经网络 权值 阈值 网络合理结构 模式识别
在线阅读 下载PDF
基于随机梯度法的选择性神经网络二次集成 被引量:5
6
作者 施彦 黄聪明 侯朝桢 《计算机工程》 CAS CSCD 北大核心 2004年第16期133-135,159,共4页
针对使用贪心法、遗传算法等方法实现选择性神经网络集成时出现的“局部最小点”和“过拟合”问题,提出了一类基于随机梯度法的选择性神经网络二次集成方法。理论分析和实验表明,与上述选择性神经网络集成方法相比,该方法易于实现且效... 针对使用贪心法、遗传算法等方法实现选择性神经网络集成时出现的“局部最小点”和“过拟合”问题,提出了一类基于随机梯度法的选择性神经网络二次集成方法。理论分析和实验表明,与上述选择性神经网络集成方法相比,该方法易于实现且效果明显。 展开更多
关键词 神经网络集成 二次集成 贪心 随机梯度
在线阅读 下载PDF
RBF神经网络的梯度下降训练方法中的学习步长优化 被引量:21
7
作者 林嘉宇 刘荧 《信号处理》 CSCD 2002年第1期43-48,共6页
梯度下降法是训练RBF神经网络的一种有效方法。和其他基于下降法的算法一样,RBF神经网络的梯度下降训练方法中也存在学习步长的取值问题。本文基于误差能量函数对学习步长的二阶Taylor展开,构造了一种优化学习步长的方法... 梯度下降法是训练RBF神经网络的一种有效方法。和其他基于下降法的算法一样,RBF神经网络的梯度下降训练方法中也存在学习步长的取值问题。本文基于误差能量函数对学习步长的二阶Taylor展开,构造了一种优化学习步长的方法,进行了较详细的推导:实验表明,本方法可有效地加速梯度下降法的收敛速度、提高其性能。该方法的思想可以用于其他基于下降法的学习步长的优化中。 展开更多
关键词 梯度下降 学习步长优化 RBF神经网络
在线阅读 下载PDF
Pi-sigma神经网络的乘子法随机单点在线梯度算法 被引量:3
8
作者 喻昕 邓飞 唐利霞 《计算机应用研究》 CSCD 北大核心 2011年第11期4074-4077,共4页
在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘... 在利用梯度算法训练Pi-sigma神经网络时,存在因权值选取过小导致收敛速度过慢的问题,而采用一般罚函数法虽然可以克服这个缺点,但要求罚因子必须趋近于∞且惩罚项绝对值不可微,从而导致数值求解困难。为克服以上缺点,提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法,将有约束问题转换为无约束问题,利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性,仿真实验结果验证了算法的有效性。 展开更多
关键词 PI-SIGMA神经网络 梯度 乘子 收敛速度 稳定性
在线阅读 下载PDF
基于正交校正共轭梯度法的快速神经网络学习算法研究 被引量:1
9
作者 郑建国 刘芳 焦李成 《电子与信息学报》 EI CSCD 北大核心 2002年第5期667-670,共4页
前馈神经网络由于具有理论上逼近任意非线性连续映射的能力,因而非常适合于非线性系统建模及构成自适应控制。为了提高前馈神经网络的权的学习效率及稳定性,该文提出一种基于正交校正共轭梯度优化方法的快速神经网络学习算法,通过与其... 前馈神经网络由于具有理论上逼近任意非线性连续映射的能力,因而非常适合于非线性系统建模及构成自适应控制。为了提高前馈神经网络的权的学习效率及稳定性,该文提出一种基于正交校正共轭梯度优化方法的快速神经网络学习算法,通过与其它学习算法(如:BP算法、变尺度法、用差商近似代替导数的Powell法等)的比较,经仿真试验表明,本算法是一种高效、快速的学习算法。 展开更多
关键词 正交校正共轭梯度 快速神经网络 学习算
在线阅读 下载PDF
梯度神经网络求解Sylvester方程之MATLAB仿真 被引量:3
10
作者 张雨浓 杨逸文 +1 位作者 陈轲 蔡炳煌 《系统仿真学报》 CAS CSCD 北大核心 2009年第13期4028-4031,4037,共5页
近年来,国内外学者发表了许多关于线性代数问题实时求解的方法,其中包括了矩阵求逆和线性方程组的并行求解方法。在研究了基于梯度法的递归神经网络用于Sylvester矩阵方程的实时求解后,通过使用Kronecker乘积和矩阵向量化等技术进行了MA... 近年来,国内外学者发表了许多关于线性代数问题实时求解的方法,其中包括了矩阵求逆和线性方程组的并行求解方法。在研究了基于梯度法的递归神经网络用于Sylvester矩阵方程的实时求解后,通过使用Kronecker乘积和矩阵向量化等技术进行了MATLAB仿真从而验证了相关理论分析。计算机仿真的结果证实了这类神经网络方法在解决Sylvester矩阵方程中的有效性和高效率(特别是在使用幂S型激励函数的情况下)。 展开更多
关键词 基于梯度法的递归神经网络 SYLVESTER方程 KRONECKER乘积 向量化 MATLAB仿真
在线阅读 下载PDF
一类离散递归神经网络的稳定性分析——LMI方法
11
作者 刘妹琴 张森林 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2003年第1期19-23,共5页
离散递归神经网络的稳定性分析是目前研究的薄弱环节.通过状态空间扩展法,将一类活化函数满足扇区条件和单调性的离散递归神经网络(即递归多层感知器RMLP)转化为线性微分包含(LDI)形式,而LDI的稳定性分析可转化为一组线性矩阵不等式(LMI... 离散递归神经网络的稳定性分析是目前研究的薄弱环节.通过状态空间扩展法,将一类活化函数满足扇区条件和单调性的离散递归神经网络(即递归多层感知器RMLP)转化为线性微分包含(LDI)形式,而LDI的稳定性分析可转化为一组线性矩阵不等式(LMI)的求解,利用MATLAB/LMITOOLBOX求解LMI,从而判定RMLP的Lyapunov稳定性.该方法也适用于其他类型的递归神经网络(RNN)的稳定性分析. 展开更多
关键词 离散归神经网络 稳定性分析 LMI方 线性矩阵不等式 递归多层感知器 状态空间扩展
在线阅读 下载PDF
基于神经网络控制的共轭梯度法 被引量:3
12
作者 沈海荣 刘超 宫宁生 《南京工业大学学报(自然科学版)》 CAS 2006年第6期91-94,共4页
共轭梯度法中搜索步长是通过某种搜索策略得到,许多情况下的收敛速度较慢。为了加快其收敛速度,提出了通过引入具有“先验知识”的神经网络对共轭梯度算法中的搜索步长进行控制。实验结果表明,该模型实现的共轭梯度法对于加快收敛速度... 共轭梯度法中搜索步长是通过某种搜索策略得到,许多情况下的收敛速度较慢。为了加快其收敛速度,提出了通过引入具有“先验知识”的神经网络对共轭梯度算法中的搜索步长进行控制。实验结果表明,该模型实现的共轭梯度法对于加快收敛速度有效。 展开更多
关键词 神经网络 共轭梯度 BP算
在线阅读 下载PDF
基于共轭梯度法和BP神经网络的火山灰云顶高度反演研究 被引量:5
13
作者 朱伟仁 孙红福 +1 位作者 朱琳 褚闪闪 《自然灾害学报》 CSCD 北大核心 2019年第6期28-36,共9页
对于火山灰云顶高度的反演问题本质上是一个不确定性反演问题,不论是一维变分的方法还是线性统计回归方法,在复杂气象条件下无法获得高精度解。为了减少对热红外辐射传输模式、物理反演方法以及辅助气象数据的依赖,提出了一种基于BP神... 对于火山灰云顶高度的反演问题本质上是一个不确定性反演问题,不论是一维变分的方法还是线性统计回归方法,在复杂气象条件下无法获得高精度解。为了减少对热红外辐射传输模式、物理反演方法以及辅助气象数据的依赖,提出了一种基于BP神经网络的火山灰云高度遥感反演方法。以2010年5月8日发生在冰岛的艾雅法拉火山爆发为例,利用覆盖研究区域的Meteosat-8卫星的SEVIRI仪器数据资料和美国NOAA开发的GOES-R火山灰云顶高度算法反演的火山灰云高度作为训练样本,建立了基于共轭梯度法和L-M法两种训练方法的优化神经网络反演方法体系。研究结果表明:在迭代次数相同的条件下,利用共轭梯度法的反演结果均方误差要优于L-M算法。我国新一代静止气象卫星风云四号成像仪具有与SEVIRI仪器相似的红外通道设置,本研究对建立基于我国新一代静止气象卫星FY-4数据的火山灰云顶高度定量反演模型也具有重要的借鉴意义。 展开更多
关键词 MSG SEVIRI 火山灰云顶高度 BP神经网络 共轭梯度 L-M算 拟合精度 波段敏感性
在线阅读 下载PDF
一种新的基于梯度动力学的协同神经网络学习算法
14
作者 陈丽 戚飞虎 《东华大学学报(自然科学版)》 CAS CSCD 北大核心 2004年第5期11-15,共5页
在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,介绍了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该... 在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,介绍了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,提出了适时地用共轭梯度法代替梯度下降法的算法,加快了学习过程的收敛。通过对标准人脸图像库的图像识别实验表明该算法较之其他学习算法有较高的识别率,并能较快地收敛到极小值。 展开更多
关键词 协同神经网络 梯度动力学 注意参数 最优化 共轭梯度
在线阅读 下载PDF
基于残差梯度法的神经网络Q学习算法 被引量:3
15
作者 司彦娜 普杰信 臧绍飞 《计算机工程与应用》 CSCD 北大核心 2020年第18期137-142,共6页
针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,... 针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度。为了进一步提高训练过程的稳定性,引入动量优化。此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题。通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性。 展开更多
关键词 Q学习 神经网络 值函数近似 残差梯度 经验回放
在线阅读 下载PDF
神经网络权值和阈值的优化方法 被引量:49
16
作者 侯祥林 陈长征 +2 位作者 虞和济 王铁光 纪盛青 《东北大学学报(自然科学版)》 EI CAS CSCD 北大核心 1999年第4期447-450,共4页
为确定多层神经网络权值和阈值建立了真实的最优化求解方法,即将网络总体平均误差建立为目标函数,以权值和阈值作为设计变量,采用梯度法和共轭梯度法对网络权值和阈值进行优化计算·通过 B P 算法、梯度法和共轭梯度法对相同... 为确定多层神经网络权值和阈值建立了真实的最优化求解方法,即将网络总体平均误差建立为目标函数,以权值和阈值作为设计变量,采用梯度法和共轭梯度法对网络权值和阈值进行优化计算·通过 B P 算法、梯度法和共轭梯度法对相同实例网络权值和阈值计算,验证了所提出的优化方法的有效性,实现了权值和阈值的快速准确计算· 展开更多
关键词 最优化方 共轭梯度 神经网络 权值 阈值
在线阅读 下载PDF
自组织递归区间二型模糊神经网络在动态时变系统辨识中的应用 被引量:9
17
作者 李迪 陈向坚 +2 位作者 续志军 杨帆 牛文达 《光学精密工程》 EI CAS CSCD 北大核心 2011年第6期1406-1413,共8页
针对动态时变系统辨识过程中存在噪声干扰的问题,本文将区间二型模糊集结合到递归神经网络中,提出了自组织递归区间二型模糊神经网络以增强动态时变系统的抗噪能力。该自组织递归区间二型模糊神经网络由前件和后件两部分构成:前件为区... 针对动态时变系统辨识过程中存在噪声干扰的问题,本文将区间二型模糊集结合到递归神经网络中,提出了自组织递归区间二型模糊神经网络以增强动态时变系统的抗噪能力。该自组织递归区间二型模糊神经网络由前件和后件两部分构成:前件为区间二型模糊集模型,用于将每个规则的激活强度反馈到自身构成内反馈回路,其参数学习采用梯度下降算法;后件为带有区间权值的Takagi-Sugeno-Kang(TSK)模型,其参数学习采用有序规则卡尔曼滤波算法,且网络初始规则数为零。所有规则均通过结构学习和前后件参数同时在线学习来产生,其网络结构学习采用的是在线区间二型模糊群集。为验证提出的神经网络的优越性,将其应用到单输入单输出动态时变系统的辨识中。实验结果表明,相对于前馈一型/二型模糊神经网络、递归一型模糊神经网络,该神经网络的辨识能力强,即使在存在白噪声的条件下,也能减小测试及训练误差。 展开更多
关键词 自组织递归区间 二型模糊神经网络 卡尔曼滤波 梯度下降 噪声干扰 动态时变系统辨识
在线阅读 下载PDF
采矿方法模糊优选的神经网络模型构造及其应用 被引量:16
18
作者 吴爱祥 郭立 +2 位作者 余健 阳雨平 肖雄 《矿冶工程》 CAS CSCD 北大核心 2003年第3期6-8,11,共4页
应用神经网络模式识别原理 ,构建一种人工神经网络 (ANN)———弹性神经网络 ,能较好地解决常用BP神经网络梯度算法中可能出现的收敛缓慢和局部最小问题 ,将模型应用于大红山铜矿缓倾斜中厚矿体采矿方法模糊优选 ,与用模糊数学法得出的... 应用神经网络模式识别原理 ,构建一种人工神经网络 (ANN)———弹性神经网络 ,能较好地解决常用BP神经网络梯度算法中可能出现的收敛缓慢和局部最小问题 ,将模型应用于大红山铜矿缓倾斜中厚矿体采矿方法模糊优选 ,与用模糊数学法得出的结论基本一致。终选出的采矿方法工业试验后取得了显著成效 。 展开更多
关键词 采矿方 弹性神经网络 模糊优选 推算 模式识别 缓倾斜中厚矿体
在线阅读 下载PDF
RBF神经网络的混合学习算法 被引量:15
19
作者 苏小红 侯秋香 +1 位作者 马培军 王亚东 《哈尔滨工业大学学报》 EI CAS CSCD 北大核心 2006年第9期1446-1449,共4页
针对RBF神经网络的最近邻聚类学习算法存在的学习精度不理想和固定网络结构的梯度下降训练学习算法存在的中心不易确定、训练时间长等问题,提出一种基于最近邻聚类中心选取和梯度下降训练的RBF神经网络混合学习算法,解决了RBF网络径向... 针对RBF神经网络的最近邻聚类学习算法存在的学习精度不理想和固定网络结构的梯度下降训练学习算法存在的中心不易确定、训练时间长等问题,提出一种基于最近邻聚类中心选取和梯度下降训练的RBF神经网络混合学习算法,解决了RBF网络径向基函数的中心取值问题,提高了网络的学习精度和训练速度.将该算法应用于非线性系统的在线辨识与二维函数的逼近,仿真实验结果证明了该方法的有效性. 展开更多
关键词 RBF神经网络 最近邻聚类学习算 径向基函数 梯度下降
在线阅读 下载PDF
一种基于改进BP神经网络的PCA人脸识别算法 被引量:51
20
作者 李康顺 李凯 张文生 《计算机应用与软件》 CSCD 北大核心 2014年第1期158-161,共4页
人脸识别作为模式识别领域的热点研究问题受到了广泛的关注。传统BP算法虽然具有自学习、自适应以及强大的非线性映射能力并且在人脸图像识别准确率上占有很大的优势,但算法具有收敛缓慢、训练过程振荡、易陷入局部极小点等缺点。针对传... 人脸识别作为模式识别领域的热点研究问题受到了广泛的关注。传统BP算法虽然具有自学习、自适应以及强大的非线性映射能力并且在人脸图像识别准确率上占有很大的优势,但算法具有收敛缓慢、训练过程振荡、易陷入局部极小点等缺点。针对传统BP算法的不足提出一种基于改进BP神经网络的PCA人脸识别算法,该算法采用PCA算法提取图像的主要特征,并结合一种新的权值调整方法改进BP算法进行图像分类识别。仿真实验表明,通过使用该算法对ORL人脸数据库的图像进行识别,其结果比传统算法具有更快的收敛速度和更高的识别率。 展开更多
关键词 人脸识别 主成分分析rBP神经网络 附加动量 弹性梯度下降
在线阅读 下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部