-
题名一种基于修正动量的RBM算法
被引量：7
- 1
-
-
作者
沈卉卉
刘国武
付丽华
刘智慧
李宏伟
-
机构
中国地质大学数理学院
湖北经济学院信息管理与统计学院
中国地质大学(武汉)地球内部多尺度成像湖北省重点实验室
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2019年第9期1957-1964,共8页
-
基金
湖北省教育厅科技处重点项目(No.D20182203)
-
文摘
受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)是一种随机网络、概率图模型,它是一种比较有效的的无监督学习模型.针对RBM梯度近似的一种计算方法对动量加速不敏感,以及识别效果不理想等问题,本文提出一种基于修正动量的RBM算法.该算法结合RBM梯度近似方法,通过修改隐单元偏置参数的更新方式,避免RBM模型中隐单元取值采用概率值时导致模型识别效果不理想、动量加速有限等问题.同时,在RBM预训练阶段采用快速上升的动量方式,以加速网络收敛;在微调阶段引入缓慢下降的动量项,以避免陷入局部最优点并提高识别效果.本文算法通过在MNIST手写数字体,Extended Yale B和CMU-PIE人脸数据库上的数值实验结果表明,提出的算法能够有效地提高计算效率和提高网络泛化能力.该算法不仅对RBM的应用领域扩展具有十分积极的实际意义,且为深度学习的应用方法提供一种新的研究思路和借鉴.
-
关键词
深度学习
无监督学习
受限玻尔兹曼机
梯度近似算法
GIBBS采样
动量加速
泛化能力
-
Keywords
deep learning
unsupervised learning
restricted Boltzmann machine
gradient approximation algorithm
Gibbs sampling
momentum acceleration
generalization ability
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
