结合受限玻尔兹曼机的递归神经网络电力系统短期负荷预测 被引量：42

1

作者 李若晨 朱帆 +1 位作者 朱永利 翟羽佳 《电力系统保护与控制》 EI CSCD 北大核心 2018年第17期83-88,共6页

短期负荷预测的重要性随着电力企业的发展不断提高。传统的负荷预测虽然已经发展相对成熟,但现阶段对负荷预测的准确性要求逐渐提高。为满足发展需要,则要对现有的方法进行改进或建立新的预测方法。通过分析负荷预测数据周期性及周期内... 短期负荷预测的重要性随着电力企业的发展不断提高。传统的负荷预测虽然已经发展相对成熟,但现阶段对负荷预测的准确性要求逐渐提高。为满足发展需要,则要对现有的方法进行改进或建立新的预测方法。通过分析负荷预测数据周期性及周期内的特征,结合递归神经网络在分析时间序列数据的独特优势和受限玻尔兹曼机的强大的无监督学习能力,对结合受限玻尔兹曼机的递归神经网络的工作原理及训练过程进行了阐述。利用该网络进行了电力负荷数据预测实验验证并与其他神经网络进行了比较性实验。结果表明,所提出的神经网络较其他网络在电力短期负荷预测实验中有更高的准确性。 展开更多

关键词 负荷预测 递归神经网络 受限玻尔兹曼机 时间序列

在线阅读 下载PDF 职称材料

融合词频-逆向文件频率的受限玻尔兹曼机推荐算法 被引量：9

2

作者 王成 李千目 《南京理工大学学报》 CAS CSCD 北大核心 2021年第5期551-557,共7页

针对数据稀疏性导致推荐算法准确度不高的难题,提出一种融合词频-逆向文件频率(Term frequency-inverse document frequency,TF-IDF)的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)推荐算法,利用受限玻尔兹曼机构建用户项目二维... 针对数据稀疏性导致推荐算法准确度不高的难题,提出一种融合词频-逆向文件频率(Term frequency-inverse document frequency,TF-IDF)的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)推荐算法,利用受限玻尔兹曼机构建用户项目二维评分矩阵,利用余弦相似度计算方法得出初始推荐评分,最后融合词频-逆向文件频率算法生成最终推荐结果集。对MovieLens1M的电影评分数据进行实验,结果显示,该文提出的混合推荐算法的平均绝对误差(Mean absolute error,MAE)和均方根误差(Root mean square error,RMSE)分别为0.6028和0.6225,比传统受限玻尔兹曼机分别提高3.22%与6.06%,也优于对照混合推荐模型的准确率。该算法能提高用户评分预测精度,进一步提升推荐质量。 展开更多

关键词 机器学习 受限玻尔兹曼机 词频-逆向文件频率 余弦相似度 对比散度

在线阅读 下载PDF 职称材料

基于受限玻尔兹曼机的语音带宽扩展 被引量：3

3

作者 王迎雪 赵胜辉 +1 位作者 于莹莹 匡镜明 《电子与信息学报》 EI CSCD 北大核心 2016年第7期1717-1723,共7页

语音带宽扩展是为了提高语音质量,利用语音低频和高频之间的相关性重构语音高频的一种技术。高斯混合模型法是语音带宽技术中被广泛应用的一种方法,但是,由于该方法假设语音高频、低频服从高斯分布,且只表征了语音低频、高频之间的线性... 语音带宽扩展是为了提高语音质量,利用语音低频和高频之间的相关性重构语音高频的一种技术。高斯混合模型法是语音带宽技术中被广泛应用的一种方法,但是,由于该方法假设语音高频、低频服从高斯分布,且只表征了语音低频、高频之间的线性关系,从而导致合成的高频语音出现失真。因此,该文提出一种基于受限玻尔兹曼机的方法,该方法利用两个高斯伯努利受限玻尔兹曼机提取语音低频和高频中蕴含的高阶统计特性;并利用前馈神经网络将语音低频高阶统计特性参数映射为高频高阶统计特性参数。这样,通过提取语音低频和高频中蕴含的高阶统计特性,该方法可以深层挖掘语音高频和语音低频之间的实际关系,从而更加准确地模拟频谱包络分布,合成质量更高的语音。客观测试、主观测试结果表明,该方法性能优于传统的高斯混合模型方法。 展开更多

关键词 语音带宽扩展 受限玻尔兹曼机 前馈神经网络 高斯混合模型

在线阅读 下载PDF 职称材料

受限玻尔兹曼机的新混合稀疏惩罚机制 被引量：5

4

作者 刘凯 张立民 张超 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2015年第6期1070-1078,共9页

为解决受限玻尔兹曼机(RBM)在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制(HSPM).鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理;按... 为解决受限玻尔兹曼机(RBM)在学习过程中出现的特征同质化问题,在RBM已有的稀疏模型基础上提出新的混合稀疏惩罚机制(HSPM).鉴于隐单元之间存在的统计相关性,该机制通过在RBM训练过程中引入交叉熵稀疏惩罚因子,实现对RBM的初步处理;按照基于RBM连接权值列相似性的自适应分组策略,构建稀疏组RBM,并按照稀疏组受限玻尔兹曼机(SGRBM)的形式继续进行隐单元稀疏化.实验结果表明:HSPM能够有效解决RBM特征同质化问题,在隐单元的稀疏程度上优于以往的稀疏惩罚因子,可以整体提高RBM的特征提取能力,并可以成功应用于深度玻尔兹曼机(DBM)的训练. 展开更多

关键词 人工神经网络 受限玻尔兹曼机(RBM) 稀疏表示 混合稀疏惩罚机制(HSPM)

在线阅读 下载PDF 职称材料

基于神经网络的机翼结构载荷模型建立方法 被引量：3

5

作者 唐宁 《空军工程大学学报（自然科学版）》 CSCD 北大核心 2021年第4期41-46,共6页

建立以飞行参数为变量的机翼结构载荷模型是飞行安全监控及飞机疲劳寿命估算的重要技术基础。首先将机翼燃油质量对其结构载荷的影响分离,在此基础上依据飞机结构载荷与飞行参数间的相关性,通过相关分析结合主成分分析的方法确定了低维... 建立以飞行参数为变量的机翼结构载荷模型是飞行安全监控及飞机疲劳寿命估算的重要技术基础。首先将机翼燃油质量对其结构载荷的影响分离,在此基础上依据飞机结构载荷与飞行参数间的相关性,通过相关分析结合主成分分析的方法确定了低维数且互不相关的建模参数,并采用高斯-伯努利受限玻尔兹曼机预训练的BP神经网络方法实现了模型建立。以飞机跨音速俯仰机动为例,建立了机翼某测载剖面剪力模型,模型验证结果表明,预训练可有效降低模型初始误差,提升建模效率及精度。 展开更多

关键词 机翼结构载荷 机翼燃油 神经网络 主成分分析 受限玻尔兹曼机

在线阅读 下载PDF 职称材料

基于受限玻尔兹曼机的专家乘积系统的一种改进算法 被引量：3

6

作者 沈卉卉 李宏伟 《电子与信息学报》 EI CSCD 北大核心 2018年第9期2173-2181,共9页

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与... 深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。 展开更多

关键词 深度学习 专家乘积 神经网络 受限玻尔兹曼机 动量

在线阅读 下载PDF 职称材料

基于受限玻尔兹曼机和粗糙集的风速区间概率预测模型

7

作者 于晓要 李娜 《计算机应用与软件》 北大核心 2023年第3期157-166,240,共11页

针对风速的不确定性、时变和非线性特征,提出一种用于风速预测的基于受限玻尔兹曼机和粗糙集理论的区间概率分布学习(Interval Probability Distribution Learning, IPDL)模型。该模型包含一组区间隐藏变量,利用Gibbs抽样和对比散度来... 针对风速的不确定性、时变和非线性特征,提出一种用于风速预测的基于受限玻尔兹曼机和粗糙集理论的区间概率分布学习(Interval Probability Distribution Learning, IPDL)模型。该模型包含一组区间隐藏变量,利用Gibbs抽样和对比散度来获取风速的概率分布,结合模糊Ⅱ型推理系统(Fuzzy Type Ⅱ Inference System, FT2IS),设计一个有监督回归的实值区间深度置信网络(Interval Deep Belief Network, IDBN)。算例结果表明,该方法结合了IPDL和FT2IS的鲁棒性,风速预测性能较好。 展开更多

关键词 受限玻尔兹曼机 粗糙集理论 风速预测 区间概率分布学习 人工神经网络

在线阅读 下载PDF 职称材料

结合深度置信网络与混合神经网络的图像分类方法 被引量：3

8

作者 刘罡 徐超 +1 位作者 陈思义 吴聪 《小型微型计算机系统》 CSCD 北大核心 2017年第9期2146-2151,共6页

图像分类方法主要是使用分类器对提取的图像特征进行分类.因此,提取的图像特征和使用的分类器直接影响分类结果.图像特征提取一般是人为设定特征提取模式,然而,对于内容复杂的图像难以人为设定有效的特征模式.此外,随着训练集规模的增加... 图像分类方法主要是使用分类器对提取的图像特征进行分类.因此,提取的图像特征和使用的分类器直接影响分类结果.图像特征提取一般是人为设定特征提取模式,然而,对于内容复杂的图像难以人为设定有效的特征模式.此外,随着训练集规模的增加,分类器想要获得更好的分类精度需要大量的训练时间.为了解决这些问题,提出混合神经网络分类器,并将该分类器和深度置信网络结合设计了新的图像分类方法.混合神经网络分类器由演化函数模块层和神经元层组成,演化函数模块层作为输入层,神经元层作为分类结果的输出层.深度置信网络是一种用于自动提取输入数据深层特征的网络模型.本文中提出的新的图像分类方法分为2个步骤,首先,堆叠受限玻尔兹曼机构成的深度置信网络用于提取图像的特征向量,其次,使用混合神经网络分类器对提取的特征向量进行分类.采用MNIST数据集和UCI数据集对提出的方法进行实验验证.实验结果表明,与堆叠受限玻尔兹曼机和softmax分类器的组合,堆叠受限玻尔兹曼机和基于演化策略的softmax分类器的组合以及堆叠受限玻尔兹曼机和支持向量机的组合相比,提出的分类方法可以在更短的时间内获得比较高的分类精度并且具有更好的抗过拟合能力. 展开更多

关键词 混合神经网络分类器 深度置信网络 图像分类 受限玻尔兹曼机

在线阅读 下载PDF 职称材料

基于变量选择的深度置信神经网络锅炉烟气NOx排放预测 被引量：19

9

作者 杨国田 王英男 +1 位作者 谢锐彪 刘凯 《热力发电》 CAS 北大核心 2020年第4期34-40,共7页

准确预测NOx排放量有利于降低选择性催化还原(SCR)烟气脱硝成本,优化锅炉燃烧过程。本文利用偏最小二乘法(PLS)对燃煤锅炉实际数据进行变量重要性投影分析,得到变量重要性投影指标Vip,以Vip为依据对原始变量进行排序,将20项最优变量子... 准确预测NOx排放量有利于降低选择性催化还原(SCR)烟气脱硝成本,优化锅炉燃烧过程。本文利用偏最小二乘法(PLS)对燃煤锅炉实际数据进行变量重要性投影分析,得到变量重要性投影指标Vip,以Vip为依据对原始变量进行排序,将20项最优变量子集作为深度置信神经网络(DBN)的输入,得到NOx排放预测的PLS-DBN模型,并将PLS-DBN模型与最小二乘支持向量机(LSSVM)、DBN、误差反向传播神经网络(BPNN)模型用于某660 MW机组锅炉的3000组训练集及500组预测集进行测试对比。结果表明:PLS-DBN模型训练集和测试集的预测误差均较小,且在训练集和测试集上均方根误差不大于2%的预测准确率分别为0.940和0.714,预测准确率最高;表明PLS-DBN模型比其他3种NOx预测模型具有更高的预测精度和模型泛化能力。 展开更多

关键词 燃煤锅炉 NOX排放 深度置信神经网络 受限玻尔兹曼机 偏最小二乘法 变量选择

在线阅读 下载PDF 职称材料

基于噪声检测修正和神经网络的稀疏数据推荐算法 被引量：6

10

作者 张艳红 俞龙 《计算机应用与软件》 北大核心 2020年第8期274-281,共8页

协同过滤推荐算法对于含噪声稀疏数据集的推荐性能较弱,为此设计噪声检测修正和神经网络的稀疏数据top-k推荐算法。将用户和项目按评分分别分类为高分类、中等类和低分类,根据分类结果检测评分矩阵的奇异点,对奇异点做简单地修正处理。... 协同过滤推荐算法对于含噪声稀疏数据集的推荐性能较弱,为此设计噪声检测修正和神经网络的稀疏数据top-k推荐算法。将用户和项目按评分分别分类为高分类、中等类和低分类,根据分类结果检测评分矩阵的奇异点,对奇异点做简单地修正处理。建立基于兴趣关系的受限玻尔兹曼机模型,将用户对项目的兴趣关系以及项目的次级信息作为条件受限玻尔兹曼机的输入,预测目标用户的top-k推荐列表。基于多个数据集的实验结果表明,该算法有效地提高稀疏数据的推荐性能,并且推荐列表的排序也较为准确。 展开更多

关键词 协同过滤推荐系统 噪声数据集 稀疏数据集 噪声过滤 神经网络 受限玻尔兹曼机

在线阅读 下载PDF 职称材料

基于深度信念网络的凝汽式汽轮机效率衰退研究 被引量：2

11

作者 徐红伟 李崇晟 《热力发电》 CAS 北大核心 2020年第4期93-100,共8页

为实现凝汽式汽轮机的效率衰退研究,避开了传统研究方法中针对排汽焓的计算或预测,通过对汽轮机做功原理的分析,提出了汽轮机效率基准期和汽轮机效率衰退指标2个概念。利用机组历史数据,采用深度信念网络建立了汽轮机效率基准期模型。... 为实现凝汽式汽轮机的效率衰退研究,避开了传统研究方法中针对排汽焓的计算或预测,通过对汽轮机做功原理的分析,提出了汽轮机效率基准期和汽轮机效率衰退指标2个概念。利用机组历史数据,采用深度信念网络建立了汽轮机效率基准期模型。通过滑动区间的极差限定法对初始数据进行了稳态筛选,并将初始数据与稳态数据相结合实现了模型的训练。通过将汽轮机实时输出功率与基准期模型的理想输出功率的对比,得到了实时汽轮机效率相对基准期的退化程度。应用结果表明:汽轮机效率衰退指标在大修前的螺旋式下降趋势,与汽轮机性能随时间的缓慢下降相吻合;大修后汽轮机效率衰退指标的快速升高,与汽轮机大修后机组通流能力的提升相吻合。该方法可以有效表征汽轮机的效率变化趋势,对电厂人员实时了解汽轮机的经济性提供了有效的参考。 展开更多

关键词 凝汽式汽轮机 效率衰退 效率基准期 深度信念网络 受限玻尔兹曼机 神经网络

在线阅读 下载PDF 职称材料

基于改进深度信念网络的旋转机械故障诊断研究 被引量：8

12

作者 魏乐 张云娟 《华北电力大学学报（自然科学版）》 CAS 北大核心 2020年第6期99-106,共8页

旋转机械装备轴承、齿轮箱等关键对象的健康状态监测正在步入大数据、智能化时代。传统的轴承故障诊断方法大多数依靠人工提取特征,需要依赖于复杂的信号处理方法以及丰富的专业经验积累,因此将改进的深度信念网络(Deep belief network,... 旋转机械装备轴承、齿轮箱等关键对象的健康状态监测正在步入大数据、智能化时代。传统的轴承故障诊断方法大多数依靠人工提取特征,需要依赖于复杂的信号处理方法以及丰富的专业经验积累,因此将改进的深度信念网络(Deep belief network,DBN)引入到故障诊断领域中:引入高斯-伯努利受限玻尔兹曼机模型(Gauss-Bernoulli Restricted Boltzmann Machine,GB-RBM)解决传统受限玻尔兹曼机输入向量受限于伯努利二值分布且对于非二项分布的数据重构拟合效果较差的问题;引入Dropout技术提高算法泛化能力并采用Adam优化器加快模型收敛速度以解决反向微调阶段随机梯度下降法收敛速度慢且容易陷入局部最优解的问题。试验结果表明,相较于传统深度信念网络,提出的GBRBM-DBN模型收敛速度更快、分类效果更好。 展开更多

关键词 故障诊断 滚动轴承 齿轮箱 深度信念网络 高斯-伯努利受限玻尔兹曼机 Adam优化算法

在线阅读 下载PDF 职称材料

基于RNN-RBM语言模型的语音识别研究 被引量：27

13

作者 黎亚雄 张坚强 +1 位作者 潘登 胡惮 《计算机研究与发展》 EI CSCD 北大核心 2014年第9期1936-1944,共9页

近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltzmann machine,RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决... 近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltzmann machine,RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决数据稀疏的问题.此外,也有学者使用递归神经网络来建构语言模型,期望由递归的方式充分利用所有上文信息来预测下一词,进而有效处理长距离语言约束.根据递归受限玻尔兹曼机神经网络(recurrent neural network-restricted Boltzmann machine,RNN-RBM)的基础来捕捉长距离信息;另外,也探讨了根据语言中语句的特性来动态地调整语言模型.实验结果显示,使用RNN-RBM语言模型对于大词汇连续语音识别的效能有相当程度的提升. 展开更多

关键词 语音识别 语言模型 神经网络 递归神经网络-受限玻尔兹曼机 关联信息

在线阅读 下载PDF 职称材料

基于改进深度置信网络的木板表面缺陷检测模型 被引量：3

14

作者 李馥颖 杨大为 黄海 《南京理工大学学报》 CAS CSCD 北大核心 2022年第6期728-734,共7页

为了提高木板表面缺陷检测精度,采用连续型深度置信网络(DBN)建立木板表面缺陷检测模型。首先,对待检测的木板图片进行关键特征提取,并建立DBN检测模型。然后,将木板图片特征输入DBN的多个受限玻尔兹曼机(RBM)层进行深度训练,从而利用DB... 为了提高木板表面缺陷检测精度,采用连续型深度置信网络(DBN)建立木板表面缺陷检测模型。首先,对待检测的木板图片进行关键特征提取,并建立DBN检测模型。然后,将木板图片特征输入DBN的多个受限玻尔兹曼机(RBM)层进行深度训练,从而利用DBN的深度优势来获得木板表面缺陷检测结果。最后,引入人工蜂群(ABC)算法对DBN的权重参数进行优化从而缩短训练时间。实例测试实验结果表明:选择学习速率为0.075时,ABC-DBN算法在划痕、刮痕、裂缝、崩缺4类样本集中的均方根误差(RMSE)均值性能更优。采用卷积神经网络(CNN)、快速区域卷积神经网络(Faster R-CNN)、自适应增强卷积神经网络(AdaBoost-CNN)和ABC-DBN算法分别进行检测准确率对比实验。结果显示,ABC-DBN算法检测准确率RMSE为5.067×10^(-2),是最优结果,Adaboost-CNN算法次之,CNN算法最差。 展开更多

关键词 深度置信网络 木板表面 缺陷检测 受限玻尔兹曼机 人工蜂群算法 卷积神经网络 快速区域卷积神经网络 自适应增强卷积神经网络

在线阅读 下载PDF 职称材料

基于实值RBM的深度生成网络研究 被引量：4

15

作者 张健 丁世飞 +1 位作者 丁玲 张成龙 《软件学报》 EI CSCD 北大核心 2021年第12期3802-3813,共12页

受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)是一种概率无向图,传统的RBM模型假设隐藏层单元是二值的,二值单元的优势在于计算过程和采样过程相对简单,然而二值化会对基于隐藏层单元的特征提取和数据重构过程带来信息损失.因... 受限玻尔兹曼机(restricted Boltzmann machine,简称RBM)是一种概率无向图,传统的RBM模型假设隐藏层单元是二值的,二值单元的优势在于计算过程和采样过程相对简单,然而二值化会对基于隐藏层单元的特征提取和数据重构过程带来信息损失.因此,将RBM的可见层单元和隐藏层单元实值化并保持模型训练的有效性,是目前RBM理论研究的重点问题.为了解决这个问题,将二值单元拓展为实值单元,利用实值单元建模数据并提取特征.具体而言,在可见层单元和隐藏层单元之间增加辅助单元,然后将图正则化项引入到能量函数中,基于二值辅助单元和图正则化项,流形上的数据有更高的概率被映射为参数化的截断高斯分布;同时,远离流形的数据有更高的概率被映射为高斯噪声.由此,模型的隐层单元可以被表示为参数化截断高斯分布或高斯噪声的采样实值.该模型称为基于辅助单元的受限玻尔兹曼机(restricted Boltzmann machine with auxiliary units,简称ARBM).在理论上分析了模型的有效性,然后构建了相应的深度模型,并通过实验验证模型在图像重构任务和图像生成任务中的有效性. 展开更多

关键词 受限玻尔兹曼机 神经网络 概率图模型 深度学习

在线阅读 下载PDF 职称材料

基于深度学习和GB-RBM的UAV红外语义分割方法 被引量：2

16

作者 冯向东 邬忠萍 郝宗波 《计算机工程与设计》 北大核心 2023年第8期2432-2438,共7页

为提高UAV红外图像语义分割的性能,提出基于深度学习和高斯伯努利受限玻尔兹曼机(GB-RBM)的实时语义分割模型。确认地面车辆实时特征提取中的关键问题。基于GB-RBM,提出用于编码阶段的形状先验模型。通过将SegNet中的编码器-解码器结构... 为提高UAV红外图像语义分割的性能,提出基于深度学习和高斯伯努利受限玻尔兹曼机(GB-RBM)的实时语义分割模型。确认地面车辆实时特征提取中的关键问题。基于GB-RBM,提出用于编码阶段的形状先验模型。通过将SegNet中的编码器-解码器结构与GB-RBM模块相融合,在解码器块中生成红外数据的实时映射,实现准确快速的语义分割。实验结果表明,所提方法能够很好地处理红外视频中的实时几何信息,在3个实验数据集上的平均精度约为0.98,平均处理时长约为17.86 s,性能优于其它优秀方法。 展开更多

关键词 深度学习 语义分割 受限玻尔兹曼机 红外图像 编码器-解码器 特征提取 几何信息

在线阅读 下载PDF 职称材料

神经采样

17

作者 萧子豪 朱军 《计算机学报》 EI CSCD 北大核心 2017年第6期1379-1393,共15页

神经采样是国际上最近提出的一种基于脉冲神经网络动力学的吉布斯采样算法,是一种有希望在类脑硬件上实现贝叶斯概率推断的算法.神经采样的仿生特点包括考虑神经元间通过发放脉冲来传递信息、突触后膜电压和迟滞效应等.该文首先会介绍... 神经采样是国际上最近提出的一种基于脉冲神经网络动力学的吉布斯采样算法,是一种有希望在类脑硬件上实现贝叶斯概率推断的算法.神经采样的仿生特点包括考虑神经元间通过发放脉冲来传递信息、突触后膜电压和迟滞效应等.该文首先会介绍国际上在神经采样方面已有的工作,分三小部分:第1部分涉及神经采样的抽象模型,包括其原理和在任意贝叶斯网络中采样的具体模型;第2部分涉及硬件实现,包括用累积发放(I&F)模型近似连续时间神经采样动力学的方法;第3部分通过结合前两部分,涉及用脉冲神经网络动力学训练传统的机器学习模型,并在经典计算机上模拟这个训练过程.第3部分具体包括基于脉冲时间的突触可塑性(STDP)的受限玻尔兹曼机(RBM)的事件驱动相对散度训练算法.最后,我们在训练RBM的相对散度和持续相对散度算法中,用神经采样替代传统的吉布斯采样.该文的工作首先分析了神经采样对初始化状态敏感和混合速度慢的采样特点,然后提出方法消除了这两个采样特点对训练的负面影响.在MNIST数据集上的实验初步显示,基于修正后的神经采样的训练算法能恢复跟传统基于吉布斯采样的算法相似的重构效果.目前在机器学习领域,基于概率的学习算法已发展成主流.神经采样方面的工作为在类脑硬件上实现低能耗的概率模型计算提供方法,未来有希望被用于提高移动设备的智能水平. 展开更多

关键词 脉冲神经网络 神经采样 马尔可夫链蒙特卡洛 受限玻尔兹曼机 类脑硬件 人工智能

在线阅读 下载PDF 职称材料

基于深度学习混合模型迁移学习的图像分类 被引量：62

18

作者 石祥滨 房雪键 +1 位作者 张德园 郭忠强 《系统仿真学报》 CAS CSCD 北大核心 2016年第1期167-173,182,共8页

为提高深度模型迁移学习的特征识别力,提出一种基于受限玻尔兹曼机与卷积神经网络混合模型迁移学习的图像分类方法。该方法融合了2种模型特征的学习能力,提取图像的结构性高阶统计特征进行主题分类。该方法在迁移预训练的卷积神经网络... 为提高深度模型迁移学习的特征识别力,提出一种基于受限玻尔兹曼机与卷积神经网络混合模型迁移学习的图像分类方法。该方法融合了2种模型特征的学习能力,提取图像的结构性高阶统计特征进行主题分类。该方法在迁移预训练的卷积神经网络模型到小目标集时,使用受限玻尔兹曼机代替卷积神经网络模型中的全连接层,在目标集上重新训练受限玻尔兹曼机层和Softmax层,并使用BP算法进行参数调整。加入的受限玻尔兹曼机层不仅全连接所有特征maps,还从最大对数似然的角度学习目标集特有的统计特征,消除了数据集间内容差异对迁移学习特征识别力的影响。在Pascal VOC2007和Caltech101数据集上的实验结果表明,该方法具有较高的分类准确率。 展开更多

关键词 图像分类 卷积神经网络 受限玻尔兹曼机 迁移学习 Softmax

在线阅读 下载PDF 职称材料

深度学习应用技术研究 被引量：59

19

作者 毛勇华 桂小林 +1 位作者 李前 贺兴时 《计算机应用研究》 CSCD 北大核心 2016年第11期3201-3205,共5页

针对深度学习应用技术进行了研究性综述。详细阐述了RBM(受限玻尔兹曼机)逐层预训练后再用BP(反向传播)微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统采用随机梯度下降,静态离线学习系统采用随... 针对深度学习应用技术进行了研究性综述。详细阐述了RBM(受限玻尔兹曼机)逐层预训练后再用BP(反向传播)微调的深度学习贪婪层训练方法,对比分析了BP算法中三种梯度下降的方式,建议在线学习系统采用随机梯度下降,静态离线学习系统采用随机小批量梯度下降;归纳总结了深度学习深层结构特征,并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点,并推荐Re LU(rectified linear units)激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景,归纳总结了当前深度学习可能的发展方向。 展开更多

关键词 受限玻尔兹曼机 深度神经网络 梯度下降 验证集 监督学习 贪婪层训练方法 深度学习 深度学习层次结构

在线阅读 下载PDF 职称材料

深度学习原理及应用综述 被引量：71

20

作者 付文博 孙涛 +2 位作者 梁藉 闫宝伟 范福新 《计算机科学》 CSCD 北大核心 2018年第B06期11-15,40,共6页

深度学习作为机器学习领域中重要的技术手段,有着广阔的应用前景。文中简述了深度学习的发展历程,介绍了卷积神经网络、受限玻尔兹曼机、自动编码器及其衍生的系列方法模型,以及Caffe,TensorFlow,Torch等6种主流深度框架;论述了深度学... 深度学习作为机器学习领域中重要的技术手段,有着广阔的应用前景。文中简述了深度学习的发展历程,介绍了卷积神经网络、受限玻尔兹曼机、自动编码器及其衍生的系列方法模型,以及Caffe,TensorFlow,Torch等6种主流深度框架;论述了深度学习在图像、语音、视频、文本、数据分析方面的应用情况,分析了深度学习现阶段存在的问题以及未来的发展趋势,为初学者提供了较全面的方法指导与文献索引支持。 展开更多

关键词 深度学习 神经网络 卷积神经网络 受限玻尔兹曼机 自动编码器 框架 应用

在线阅读 下载PDF 职称材料