基于权值动量的RBM加速学习算法研究 被引量：11

1

作者 李飞 高晓光 万开方 《自动化学报》 EI CSCD 北大核心 2017年第7期1142-1159,共18页

动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问... 动量算法理论上可以加速受限玻尔兹曼机(Restricted Boltzmann machine,RBM)网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足. 展开更多

关键词 深度学习 受限玻尔兹曼机 动量算法 权值动量

在线阅读 下载PDF 职称材料

基于灰色-模糊-改进动量BP算法的矿工安全行为评价方法 被引量：24

2

作者 程卫民 周刚 +2 位作者 王刚 吴立荣 亓玉栋 《煤炭学报》 EI CAS CSCD 北大核心 2010年第1期101-105,共5页

根据矿工安全行为自身的复杂性,影响因素的多样性,行为过程的非线性、模糊性、随机性、时变性的特点,从安全生理、安全心理、工程心理、安全管理、生活重大事件、不同文化差异6个方面构建了矿工安全行为心理测量的初试量表。通过相关数... 根据矿工安全行为自身的复杂性,影响因素的多样性,行为过程的非线性、模糊性、随机性、时变性的特点,从安全生理、安全心理、工程心理、安全管理、生活重大事件、不同文化差异6个方面构建了矿工安全行为心理测量的初试量表。通过相关数学工具确定了与矿工安全行为状况紧密相关的63条测量指标作为评价因素集合,建立了基于灰色-模糊-改进动量BP算法的矿工安全行为状况的综合评价模型。通过实践应用表明,该方法能对矿工安全行为状态进行较为准确的评价,能满足生产现场矿工不安全行为预测的要求。 展开更多

关键词 灰色-模糊-改进动量BP算法 安全行为 评价 心理测量

在线阅读 下载PDF 职称材料

基于动量BP算法的过渡段路基沉降预测 被引量：8

3

作者 魏静 蒲兴波 +1 位作者 钱耀峰 李军昌 《北京交通大学学报》 CAS CSCD 北大核心 2012年第1期52-55,62,共5页

利用动量BP算法改进了BP神经网络的收敛性,建立了过渡段路基沉降预测模型.该模型可克服传统BP神经网络收敛速度慢、易陷入局部最优等的缺点.结合津秦客运专线路桥过渡段路基沉降实测数据,将该优化模型与传统BP神经网络预测模型进行了对... 利用动量BP算法改进了BP神经网络的收敛性,建立了过渡段路基沉降预测模型.该模型可克服传统BP神经网络收敛速度慢、易陷入局部最优等的缺点.结合津秦客运专线路桥过渡段路基沉降实测数据,将该优化模型与传统BP神经网络预测模型进行了对比.计算表明,利用动量BP算法改进的神经网络具有较高的预测精度,同时考虑了多个影响因素,因而具有广阔的应用前景. 展开更多

关键词 动量BP算法 过渡段 沉降预测 神经网络

在线阅读 下载PDF 职称材料

改进动量BP算法计算围岩风流不稳定传热系数 被引量：3

4

作者 程卫民 诸葛福民 +1 位作者 周刚 王刚 《煤炭科学技术》 CAS 北大核心 2009年第12期35-37,53,共4页

针对围岩与风流之间不稳定传热系数Aτ的理论值解法的计算过程繁杂、容易出错等缺点,提出了基于改进动量BP算法的不稳定传热系数Aτ的预测计算模型,并以淄博矿业集团唐口煤矿的实测数据为例对网络进行了训练和学习,结果表明,该方法的使... 针对围岩与风流之间不稳定传热系数Aτ的理论值解法的计算过程繁杂、容易出错等缺点,提出了基于改进动量BP算法的不稳定传热系数Aτ的预测计算模型,并以淄博矿业集团唐口煤矿的实测数据为例对网络进行了训练和学习,结果表明,该方法的使用可从多个方面改善网络的总体收敛性,具有较高的预测精度。 展开更多

关键词 动量BP算法 不稳定传热系数 预测计算

在线阅读 下载PDF 职称材料

一种用于特征层融合识别的回弹全局自适应动量BP算法

5

作者 刘慧敏 王宏强 +2 位作者 黎湘 付耀文 沈荣骏 《传感技术学报》 CAS CSCD 北大核心 2008年第10期1726-1730,共5页

针对特征层融合识别中全局自适应BP算法存在的收敛速度慢、学习不稳定等问题,基于对动量BP算法的详细分析,提出了一种新的全局自适应BP算法——回弹全局自适应动量BP算法(RGMOBP),该算法具有在误差增大时进行权值回弹并减小学习步长以... 针对特征层融合识别中全局自适应BP算法存在的收敛速度慢、学习不稳定等问题,基于对动量BP算法的详细分析,提出了一种新的全局自适应BP算法——回弹全局自适应动量BP算法(RGMOBP),该算法具有在误差增大时进行权值回弹并减小学习步长以保证权值的调节功能、使误差减小的特点。仿真结果表明:RGMOBP在学习性能上优于其它已有经典全局算法,是一种简单有效的神经网络特征层融合识别算法。 展开更多

关键词 全局自适应BP算法 特征层融合识别 回弹全局自适应动量BP算法 动量BP算法

在线阅读 下载PDF 职称材料

附加奇数s的动量BP算法在动态流量软测量中的研究与应用

6

作者 唐勇 马卉宇 王益群 《小型微型计算机系统》 CSCD 北大核心 2008年第11期2103-2106,共4页

针对BP算法收敛速度慢以及陷入平坦区的难题,提出了附加奇数s的动量BP算法.该方法在保证训练收敛和训练精度的情况下,通过降低计算量来提高计算速度节省计算时间,通过改进激发函数来增加梯度加快收敛速度.文中详细论证了算法的正确性,... 针对BP算法收敛速度慢以及陷入平坦区的难题,提出了附加奇数s的动量BP算法.该方法在保证训练收敛和训练精度的情况下,通过降低计算量来提高计算速度节省计算时间,通过改进激发函数来增加梯度加快收敛速度.文中详细论证了算法的正确性,并通过实验验证了算法的性能,实验结果表明该算法比传统的附加动量BP算法节省了9.66%的时间,训练步数也减少了31.35%,比较好的适应于动态流量软测量中的实时性要求. 展开更多

关键词 流量测量 神经网络 动量BP算法 收敛

在线阅读 下载PDF 职称材料

基于宽线性动量LMS算法的DS-CDMAMAI抵消

7

作者 周元建 戴道清 《通信学报》 EI CSCD 北大核心 2005年第12期8-12,共5页

提出了一种宽线性动量LMS算法,分析了算法在均方意义下的收敛性,给出了算法稳定条件和失调公式,以及算法应用于码分多址系统多址干扰抵消的效果。仿真表明新算法的性能优于Yin及Schober所提出的算法的性能。

关键词 通信工程 宽线性动量LMS算法 收敛性 码分多址 多址干扰抵消

在线阅读 下载PDF 职称材料

同步发电机失磁检测中的动量自适应算法

8

作者 朱洪波 黄家栋 +1 位作者 刘兴杰 程骁 《电力系统及其自动化学报》 CSCD 2003年第5期19-20,46,共3页

把用 Matlab软件的同步发电机故障仿真数据进行快速傅立叶变换后作为失磁检测的特征向量 ,通过人工神经网络模型实现发电机的失磁检测 ,用动量自适应算法对网络进行训练 ,收敛较快 。

关键词 同步发电机 失磁检测 动量自适应算法 人工神经网络 快速傅立叶变换

在线阅读 下载PDF 职称材料

卷积神经网络中基于差分隐私的动量梯度下降算法 被引量：3

9

作者 张宇 蔡英 +2 位作者 崔剑阳 张猛 范艳芳 《计算机应用》 CSCD 北大核心 2023年第12期3647-3653,共7页

针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值... 针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD(Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。 展开更多

关键词 卷积神经网络 差分隐私 动量梯度下降算法 深度学习 隐私保护

在线阅读 下载PDF 职称材料

一种基于动量BP算法的似然分布自适应粒子滤波 被引量：3

10

作者 张园 赵长胜 李晓明 《小型微型计算机系统》 CSCD 北大核心 2019年第10期2058-2062,共5页

在量测精度不高时,重要性重采样粒子滤波效果较好,但在观测模型具有较高精度时,由于较多的无效样本可能导致粒子滤波失效.同时传统粒子滤波重采样算法虽可以用来解决粒子退化问题,但也会出现如粒子的多样性丧失、高权值的粒子被多次计算... 在量测精度不高时,重要性重采样粒子滤波效果较好,但在观测模型具有较高精度时,由于较多的无效样本可能导致粒子滤波失效.同时传统粒子滤波重采样算法虽可以用来解决粒子退化问题,但也会出现如粒子的多样性丧失、高权值的粒子被多次计算等,同时也存在传统的BP神经网络与粒子滤波结合会导致实时性较差等问题.针对这些问题,本文提出基于动量BP算法的似然分布自适应粒子滤波(MO-NNWA-APF):一方面通过反映量测噪声统计性能的精度因子α对似然分布状态自适应调整,增加先验和似然的重叠区,提高滤波精度;另一方面将动量BP算法与似然分布自适应调整结合,增大位于低概率密度区域的粒子的权值,同时部分高权值粒子被分裂为小权值粒子,一定程度上增加粒子的多样性和改善算法的实时性.选用一维系统和多维单目标系统仿真综合比较算法得出:使用基于动量BP算法的似然分布自适应粒子滤波算法优于现有的基本粒子滤波算法、基于BP神经网络的粒子滤波算法,在系统状态、均方根误差、估计与真值的关系、有效粒子数等方面体现出较好的预测能力,预测结果表现精度较高,算法稳定,实时性较好. 展开更多

关键词 粒子退化 精度因子 似然分布自适应调整 动量BP算法 实时性

在线阅读 下载PDF 职称材料

融合动量BP算法的样本数自适应粒子滤波

11

作者 张园 赵长胜 李晓明 《小型微型计算机系统》 CSCD 北大核心 2019年第8期1612-1616,共5页

传统粒子滤波算法样本数保持不变,而固定的样本数将会直接影响粒子滤波算法的计算复杂度,进而影响粒子滤波算法的实时性和精度.针对这一问题,引入样本数可自适应调整的粒子滤波,既可以在每一步状态方差估计中设定样本数的下限,也考虑了... 传统粒子滤波算法样本数保持不变,而固定的样本数将会直接影响粒子滤波算法的计算复杂度,进而影响粒子滤波算法的实时性和精度.针对这一问题,引入样本数可自适应调整的粒子滤波,既可以在每一步状态方差估计中设定样本数的下限,也考虑了状态方差过大或者过小的情形;同时将动量BP算法与样本数自适应粒子滤波结合,增大位于低概率密度区域粒子的权值,使位于这部分区域的小权值粒子重新进入高权值区域,降低粒子退化,同时部分高权值的粒子分裂为小权值粒子.仿真模型选取为单变量非静态增长模型和多维单目标跟踪模型,仿真结果得出:使用融合动量BP算法的样本数自适应粒子滤波优于标准粒子滤波算法、基于BP神经网络的粒子滤波算法,在系统状态、均方根误差、估计与真值的关系、有效粒子数等方面体现出较好的预测能力,预测结果表现为精度较高,稳定性较好,且降低了计算的复杂度. 展开更多

关键词 粒子滤波 滤波精度 样本数自适应 动量BP算法 实时性

在线阅读 下载PDF 职称材料

瞬时梯度去相关在线EASI算法 被引量：4

12

作者 杨华 张杭 杨柳 《信号处理》 CSCD 北大核心 2016年第1期119-126,共8页

针对在线EASI算法的瞬时梯度与真实梯度存在偏差,并且偏差会随着分离矩阵的迭代更新传递和累积下去,造成分离性能下降的问题,提出了一种瞬时梯度去相关的在线EASI算法—IGDA-EASI算法。IGDA-EASI算法通过消除瞬时梯度间的相关性,减小偏... 针对在线EASI算法的瞬时梯度与真实梯度存在偏差,并且偏差会随着分离矩阵的迭代更新传递和累积下去,造成分离性能下降的问题,提出了一种瞬时梯度去相关的在线EASI算法—IGDA-EASI算法。IGDA-EASI算法通过消除瞬时梯度间的相关性,减小偏差累积,从而提高算法的分离性能。经仿真实验验证,该算法相较传统在线EASI算法在收敛速度和分离精度方面都获得了较大提高。在信道时变的情况下,IGDA-EASI算法同样具有更好的分离性能。并且在动量项EASI算法中IGDA算法依然具有适用性。 展开更多

关键词 盲源分离 等变自适应分离算法 瞬时梯度去相关 在线算法 动量项算法

在线阅读 下载PDF 职称材料

基于LSTM神经网络的卫星频谱多门限感知算法 被引量：7

13

作者 刘东健 杨霄鹏 +1 位作者 肖楠 朱圣铭 《信号处理》 CSCD 北大核心 2020年第8期1326-1334,共9页

针对在卫星认知通信场景下传统频谱感知算法感知性能低、受通信时延影响大的问题,提出了一种基于长短期记忆(LSTM)神经网络的卫星频谱多门限感知算法。首先构建卫星认知通信模型,其次将仿真数据送入长短期记忆(LSTM)神经网络进行预测感... 针对在卫星认知通信场景下传统频谱感知算法感知性能低、受通信时延影响大的问题,提出了一种基于长短期记忆(LSTM)神经网络的卫星频谱多门限感知算法。首先构建卫星认知通信模型,其次将仿真数据送入长短期记忆(LSTM)神经网络进行预测感知,采用动量随机梯度下降(SGDM)算法对网络进行更新,然后提出多门限算法对网络输出进行优化,最后与其他神经网络算法作性能对比。该算法无需构建特征值,实验结果表明:在卫星信道条件下,当面对低接收信噪比及低网络迭代次数时,该算法频谱感知性能要优于其他神经网络算法。 展开更多

关键词 卫星认知通信 频谱感知 长短期记忆神经网络 动量随机梯度下降算法 多门限优化

在线阅读 下载PDF 职称材料

多导联心电图识别的稳定步长ResNet深度网络

14

作者 曹玉怡 覃华 卢才德 《广西大学学报（自然科学版）》 CAS 北大核心 2024年第2期374-385,共12页

针对经典的ResNet深度神经网络对一维多导联心电图图像进行识别、分类时,因原始图像的维度较高导致提取到的深度特征维度高,造成全连接层训练出现收敛速度慢和过拟合的问题,在ResNet的全连接层提出一种稳定步长动量训练算法,通过引入近... 针对经典的ResNet深度神经网络对一维多导联心电图图像进行识别、分类时,因原始图像的维度较高导致提取到的深度特征维度高,造成全连接层训练出现收敛速度慢和过拟合的问题,在ResNet的全连接层提出一种稳定步长动量训练算法,通过引入近似二阶梯度信息增强动量法的寻优能力和加速收敛速度;利用连续2次迭代的参数变化量和梯度信息自适应调整步长,构造边界函数对步长的大小进行限制,以防止步长过大或过小而影响收敛稳定性,使用动量项对参数的更新方向进行修正。在CPSC2018心电图数据集上的实验结果表明:所提算法训练的ResNet取得的F 1分数、准确率、精确度分别达到0.859、97.4%、87.9%,收敛速度和整体分类指标值优于其他相比较的方法。 展开更多

关键词 多导联心电图 ResNet深度网络 动量优化算法 稳定步长 二阶梯度信息

在线阅读 下载PDF 职称材料

基于改进BP神经网络私家车保有量的预测研究 被引量：11

15

作者 曾希君 于博 +1 位作者 李向群 孔丁祥 《计算机工程与设计》 CSCD 北大核心 2010年第3期605-608,共4页

根据某地区1996年-2007年连续12年私家车的保有量,提出了一种改进的BP神经网络的私家车保有量的预测模型,以人均国内生产总值、公交车营运总里程、居民人均可支配收入等10个指标作为网络的输入因子,以私家车保有量作为输出因子,利用199... 根据某地区1996年-2007年连续12年私家车的保有量,提出了一种改进的BP神经网络的私家车保有量的预测模型,以人均国内生产总值、公交车营运总里程、居民人均可支配收入等10个指标作为网络的输入因子,以私家车保有量作为输出因子,利用1996年至2007年的数据进行训练和检验,得到了预测仿真的结果,预测值与实际值的误差比传统的神经网络预测的误差更小,达到了预期的目的。 展开更多

关键词 改进神经网络 私家车保有量 预测研究 动量算法 学习速率 模拟仿真

在线阅读 下载PDF 职称材料

基于NAWL-ILSTM的网络安全态势预测方法 被引量：18

16

作者 朱江 陈森 《计算机科学》 CSCD 北大核心 2019年第10期161-166,共6页

安全态势是网络安全预警的前提。各种复杂网络环境中的网络攻击行为给网络带来了意想不到的挑战,导致网络负载增加和网络故障等突发网络安全事件随时都会发生。因此,针对网络安全态势时间序列的不确定性、非线性等特点,为了提高网络安... 安全态势是网络安全预警的前提。各种复杂网络环境中的网络攻击行为给网络带来了意想不到的挑战,导致网络负载增加和网络故障等突发网络安全事件随时都会发生。因此,针对网络安全态势时间序列的不确定性、非线性等特点,为了提高网络安全态势预测的精度,提出了基于改进Nadam和改进长短期记忆网络(NAWL-ILSTM)的网络安全态势预测方法。首先,利用一种在线更新机制改进长短期记忆网络(LSTM)以建立态势时间序列预测模型,它可以实时地对接收到的在线观测数据进行参数更新,使代价函数最小化,从而解决了传统LSTM网络模型不能合理地利用网络系统在线传送数据的问题,在优化参数更新的同时也大大提高了LSTM模型的预测精度;然后,针对神经网络训练过程中收敛速度较慢和训练成本较高的问题,采用Look-ahead方法对Nesterov加速梯度的自适应估计动量算法(Nadam)的更新公式进行改进,以加快模型的收敛速度,从而加快了ILSTM预测模型的训练速度,减少了训练的时间和成本。基于Python在tensorflow环境下进行仿真实验,结果验证了所提的基于在线更新机制的LSTM预测模型的合理性,通过收敛性分析和算法对比得出了NAWL算法具有更快的收敛速度的结论。最后,与其他预测模型的对比结果表明了NAWL-ILSTM预测模型在态势时间序列分析中具有更强的适用性和更高的准确性。 展开更多

关键词 网络安全态势预测 长短期记忆网络 在线更新参数 前瞻性技术 适应性动量算法

在线阅读 下载PDF 职称材料

基于神经网络的降雨预报系统及其改进 被引量：2

17

作者 陶雪梅 刘自伟 《兵工自动化》 2006年第9期60-61,65,共3页

降雨预报采用标准BP网络的连续值,用第1、2天数据预报第3天雨量。包括气象因子选取与数据预处理及人工神经网络模拟预报。系统的改进采用增加动量项训练网络,以解决局部极小,提高网络效率。实验表明,该算法使BP网络的设计及训练得到较... 降雨预报采用标准BP网络的连续值,用第1、2天数据预报第3天雨量。包括气象因子选取与数据预处理及人工神经网络模拟预报。系统的改进采用增加动量项训练网络,以解决局部极小,提高网络效率。实验表明,该算法使BP网络的设计及训练得到较好解决,特别在网络结构适合情况下能避免BP算法陷入局部极小问题。 展开更多

关键词 降雨预报 BP神经网络 动量算法

在线阅读 下载PDF 职称材料

内燃机油清净剂复配实验的模拟与预测

18

作者 仝秋红 王毓民 姚顽强 《润滑与密封》 CAS CSCD 北大核心 2006年第8期109-111,共3页

探讨了汽车内燃机油清净剂复配实验的模拟与预测。首先实验研究了T102、T106、T113的复配性能,获得原始数据,然后采用附加动量法、变学习率算法以及动量法与自适应学习率组合算法分别对优化后的BP神经网络进行训练,对实验进行模拟与预... 探讨了汽车内燃机油清净剂复配实验的模拟与预测。首先实验研究了T102、T106、T113的复配性能,获得原始数据,然后采用附加动量法、变学习率算法以及动量法与自适应学习率组合算法分别对优化后的BP神经网络进行训练,对实验进行模拟与预测。结果表明,采用附加动量法无法达到预测目标,而采用动量法与自适应学习率组合算法对清净剂复配实验有较好的模拟与预测。 展开更多

关键词 内燃机油 清净剂复配 附加动量算法 自适应学习率算法 BP网络

在线阅读 下载PDF 职称材料

面向高速铁路道岔的隐患分析与故障定位改进 被引量：5

19

作者 林海香 李阳庆 《铁道科学与工程学报》 CAS CSCD 北大核心 2018年第9期2217-2223,共7页

以高铁常用S700K型交流转辙机为例,通过测试道岔动作过程中关键继电器的时序周期,探究造成交流道岔中途停转的深层次原因。提出基于动量BP(Back Propagation)算法的神经网络故障定位的改进方法,并在以往微机监测系统测试的电气参数基础... 以高铁常用S700K型交流转辙机为例,通过测试道岔动作过程中关键继电器的时序周期,探究造成交流道岔中途停转的深层次原因。提出基于动量BP(Back Propagation)算法的神经网络故障定位的改进方法,并在以往微机监测系统测试的电气参数基础上补充故障样本。对神经网络进行训练并测试,由误差比对结果可知,该方法使得高速铁路道岔智能故障定位更加精确。 展开更多

关键词 高速铁路 偶发故障 故障定位 动量BP算法

在线阅读 下载PDF 职称材料

一种混沌神经网络的混沌时间序列预测 被引量：3

20

作者 王燚 郭伟 《电子测量与仪器学报》 CSCD 2007年第6期5-9,共5页

混沌是一种普遍存在的非线性动力学行为,针对混沌时间序列预测问题,提出了一种新颖的混沌对角递归神经网络模型,然后,给出了易实现的动量梯度学习算法。为了验证网络的预测性能,采用该神经网络预测模型对Mackey-Glass混沌时间序列进行... 混沌是一种普遍存在的非线性动力学行为,针对混沌时间序列预测问题,提出了一种新颖的混沌对角递归神经网络模型,然后,给出了易实现的动量梯度学习算法。为了验证网络的预测性能,采用该神经网络预测模型对Mackey-Glass混沌时间序列进行了仿真。结果表明,所提出的混沌神经神经网络模型能快速、精确地预测混沌时间序列,并能在一定精度上满足多步预测需要,是研究复杂非线性动力系统辨识和控制的一种有效方法。 展开更多

关键词 混沌对角递归神经网络 动量梯度学习算法 混沌时间序列 预测

在线阅读 下载PDF 职称材料