题名 基于RNN-RBM语言模型的语音识别研究
被引量：27
1
作者
黎亚雄 张坚强 潘登 胡惮
机构
湖北科技学院网络管理中心 弗吉尼亚理工大学信息技术中心 湖北科技学院外国语学院 中南财经政法大学外国语学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2014年第9期1936-1944,共9页
文摘
近年来深度学习兴起,其在语言模型领域有着不错的成效,如受限玻尔兹曼机(restricted Boltzmann machine,RBM)语言模型等.不同于N-gram语言模型,这些根植于神经网络的语言模型可以将词序列映射到连续空间来评估下一词出现的概率,以解决数据稀疏的问题.此外,也有学者使用递归神经网络来建构语言模型,期望由递归的方式充分利用所有上文信息来预测下一词,进而有效处理长距离语言约束.根据递归受限玻尔兹曼机神经网络(recurrent neural network-restricted Boltzmann machine,RNN-RBM)的基础来捕捉长距离信息;另外,也探讨了根据语言中语句的特性来动态地调整语言模型.实验结果显示,使用RNN-RBM语言模型对于大词汇连续语音识别的效能有相当程度的提升.
关键词
语音识别 语言模型 神经网络 递归神经网络-受限玻尔兹曼机 关联信息
Keywords
speech recognition language model neural network recurrent neural network -restricted Boltzmann machine relevance information
分类号
TP391.42
[自动化与计算机技术—计算机应用技术]
题名 结合全局词向量特征的循环神经网络语言模型
被引量：11
2
作者
李华 屈丹 张文林 王炳锡 梁玉龙
机构
解放军信息工程大学信息系统工程学院
出处
《信号处理》
CSCD
北大核心
2016年第6期715-723,共9页
基金
国家自然科学基金项目(61175017)
文摘
针对循环神经网络语言模型对长距离历史信息学习能力不足的问题,本文提出了结合全局词向量特征的循环神经网络语言模型。首先利用Glo Ve(Global Word Vectors)算法训练出全局词向量,然后将其作为特征向量输入到引入特征层的循环神经网络中进行训练。相对于局部词向量方法,全局词向量能够利用全局统计信息来训练出含有更加丰富的语义和句法信息词向量。为了验证新方法的性能,本文在Penn Treebank和Wall Street Journal语料库上分别进行困惑度和连续语音识别实验。实验结果表明结合全局词向量的循环神经网络语言模型的困惑度相比传统的循环神经网络语言模型降低了20.2%,同时语音识别系统的词错误率降低了18.3%。
关键词
循环神经网络 语言模型 全局词向量 语音识别
Keywords
recurrent neural network language model global word vector speech recognition
分类号
TN912.3
[电子电信—通信与信息系统]
题名 基于循环神经网络的汉语语言模型并行优化算法
被引量：7
3
作者
王龙 杨俊安 陈雷 林伟 刘辉
机构
电子工程学院 安徽省电子制约技术重点实验室 安徽科大讯飞公司
出处
《应用科学学报》
CAS
CSCD
北大核心
2015年第3期253-261,共9页
基金
国家自然科学基金(No.60872113) 安徽省自然科学基金(No.1208085MF94)资助
文摘
计算复杂度高导致循环神经网络语言模型训练效率很低,是影响实际应用的一个瓶颈.针对这个问题,提出一种基于批处理(mini-batch)的并行优化训练算法.该算法利用GPU的强大计算能力来提高网络训练时的矩阵及向量运算速度,优化后的网络能同时并行处理多个数据流即训练多个句子样本,加速训练过程.实验表明,优化算法有效提升了RNN语言模型训练速率,且模型性能下降极少,并在实际汉语语音识别系统中得到了验证.
关键词
语音识别 循环神经网络 语言模型 并行优化
Keywords
speech recognition , recurrent neural network , language model , parallel opti-mization
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于RNN汉语语言模型自适应算法研究
被引量：4
4
作者
王龙 杨俊安 刘辉 陈雷 林伟
机构
电子工程学院 安徽省电子制约技术重点实验室 安徽科大讯飞公司
出处
《火力与指挥控制》
CSCD
北大核心
2016年第5期31-34,38,共5页
基金
国家自然科学基金(60872113) 安徽省自然科学基金资助项目(1208085MF94)
文摘
深度学习在自然语言处理中的应用越来越广泛。相比于传统的n-gram统计语言模型,循环神经网络(Recurrent Neural Network,RNN)建模技术在语言模型建模方面表现出了极大的优越性,逐渐在语音识别、机器翻译等领域中得到应用。然而,目前RNN语言模型的训练大多是离线的,对于不同的语音识别任务,训练语料与识别任务之间存在着语言差异,使语音识别系统的识别率受到影响。在采用RNN建模技术训练汉语语言模型的同时,提出一种在线RNN模型自适应(self-adaption)算法,将语音信号初步识别结果作为语料继续训练模型,使自适应后的RNN模型与识别任务之间获得最大程度的匹配。实验结果表明:自适应模型有效地减少了语言模型与识别任务之间的语言差异,对汉语词混淆网络进行重打分后,系统识别率得到进一步提升,并在实际汉语语音识别系统中得到了验证。
关键词
语音识别 循环神经网络 语言模型 在线自适应
Keywords
speech recognition ,recurrent neural network ,language model ,online adaptation
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于循环神经网络的汉语语言模型建模方法
被引量：5
5
作者
王龙 杨俊安 陈雷 林伟
机构
中国人民解放军电子工程学院 安徽省电子制约技术重点实验室 安徽科大讯飞公司
出处
《声学技术》
CSCD
北大核心
2015年第5期431-436,共6页
基金
国家自然科学基金(60872113) 安徽省自然科学基金(1208085MF94 1308085QF99)资助项目
文摘
语言模型是语音识别系统的重要组成部分,目前的主流是n-gram模型。然而n-gram模型存在一些不足,对语句中长距信息描述差、数据稀疏是影响模型性能的两个重要因素。针对不足,研究者提出循环神经网络(Recurrent Neural Network,RNN)建模技术,在英语语言模型建模上取得了较好的效果。根据汉语特点将RNN建模方法应用于汉语语言建模,并结合两种模型的优点,提出了模型融合构建方法。实验结果表明:相比传统的n-gram语言模型,采用RNN训练的汉语语言模型困惑度(Per PLexity,PPL)有了下降,在对汉语电话信道的语音识别上,系统错误率也有下降,将两种语言模型融合后,系统识别错误率更低。
关键词
语音识别 循环神经网络 语言模型 模型融合
Keywords
speech recognition recurrent neural network language model model combination
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于循环神经网络语言模型的N-best重打分算法
被引量：3
6
作者
张剑 屈丹 李真
机构
解放军信息工程大学信息系统工程学院
出处
《数据采集与处理》
CSCD
北大核心
2016年第2期347-354,共8页
基金
国家自然科学基金(61175017)资助项目 国家高技术研究发展计划("八六三"计划)(2012AA011603)资助项目 全军军事学研究生课题(2010JY0258-144)资助项目
文摘
循环神经网络语言模型能够克服统计语言模型中存在的数据稀疏问题,同时具有更强的长距离约束能力,是一种重要的语言模型建模方法。但在语音解码时,由于该模型使词图的扩展次数过多,造成搜索空间过大而难以使用。本文提出了一种基于循环神经网络语言模型的N-best重打分算法,利用N-best引入循环神经网络语言模型概率得分,对识别结果进行重排序,并引入缓存模型对解码过程进行优化,得到最优的识别结果。实验结果表明,本文方法能够有效降低语音识别系统的词错误率。
关键词
语音识别 语言模型 循环神经网络 N-best重打分 缓存语言模型
Keywords
speech recognition language model recurrent neural network N-best rescoring cache lan-guage model
分类号
TP391
[自动化与计算机技术—计算机应用技术]
