-
题名基于循环神经网络的汉语语言模型并行优化算法
被引量：7
- 1
-
-
作者
王龙
杨俊安
陈雷
林伟
刘辉
-
机构
电子工程学院
安徽省电子制约技术重点实验室
安徽科大讯飞公司
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2015年第3期253-261,共9页
-
基金
国家自然科学基金(No.60872113)
安徽省自然科学基金(No.1208085MF94)资助
-
文摘
计算复杂度高导致循环神经网络语言模型训练效率很低,是影响实际应用的一个瓶颈.针对这个问题,提出一种基于批处理(mini-batch)的并行优化训练算法.该算法利用GPU的强大计算能力来提高网络训练时的矩阵及向量运算速度,优化后的网络能同时并行处理多个数据流即训练多个句子样本,加速训练过程.实验表明,优化算法有效提升了RNN语言模型训练速率,且模型性能下降极少,并在实际汉语语音识别系统中得到了验证.
-
关键词
语音识别
循环神经网络
语言模型
并行优化
-
Keywords
speech recognition, recurrent neural network, language model, parallel opti-mization
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于RNN汉语语言模型自适应算法研究
被引量：4
- 2
-
-
作者
王龙
杨俊安
刘辉
陈雷
林伟
-
机构
电子工程学院
安徽省电子制约技术重点实验室
安徽科大讯飞公司
-
出处
《火力与指挥控制》
CSCD
北大核心
2016年第5期31-34,38,共5页
-
基金
国家自然科学基金(60872113)
安徽省自然科学基金资助项目(1208085MF94)
-
文摘
深度学习在自然语言处理中的应用越来越广泛。相比于传统的n-gram统计语言模型,循环神经网络(Recurrent Neural Network,RNN)建模技术在语言模型建模方面表现出了极大的优越性,逐渐在语音识别、机器翻译等领域中得到应用。然而,目前RNN语言模型的训练大多是离线的,对于不同的语音识别任务,训练语料与识别任务之间存在着语言差异,使语音识别系统的识别率受到影响。在采用RNN建模技术训练汉语语言模型的同时,提出一种在线RNN模型自适应(self-adaption)算法,将语音信号初步识别结果作为语料继续训练模型,使自适应后的RNN模型与识别任务之间获得最大程度的匹配。实验结果表明:自适应模型有效地减少了语言模型与识别任务之间的语言差异,对汉语词混淆网络进行重打分后,系统识别率得到进一步提升,并在实际汉语语音识别系统中得到了验证。
-
关键词
语音识别
循环神经网络
语言模型
在线自适应
-
Keywords
speech recognition,recurrent neural network,language model,online adaptation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于循环神经网络的汉语语言模型建模方法
被引量：5
- 3
-
-
作者
王龙
杨俊安
陈雷
林伟
-
机构
中国人民解放军电子工程学院
安徽省电子制约技术重点实验室
安徽科大讯飞公司
-
出处
《声学技术》
CSCD
北大核心
2015年第5期431-436,共6页
-
基金
国家自然科学基金(60872113)
安徽省自然科学基金(1208085MF94
1308085QF99)资助项目
-
文摘
语言模型是语音识别系统的重要组成部分,目前的主流是n-gram模型。然而n-gram模型存在一些不足,对语句中长距信息描述差、数据稀疏是影响模型性能的两个重要因素。针对不足,研究者提出循环神经网络(Recurrent Neural Network,RNN)建模技术,在英语语言模型建模上取得了较好的效果。根据汉语特点将RNN建模方法应用于汉语语言建模,并结合两种模型的优点,提出了模型融合构建方法。实验结果表明:相比传统的n-gram语言模型,采用RNN训练的汉语语言模型困惑度(Per PLexity,PPL)有了下降,在对汉语电话信道的语音识别上,系统错误率也有下降,将两种语言模型融合后,系统识别错误率更低。
-
关键词
语音识别
循环神经网络
语言模型
模型融合
-
Keywords
speech recognition
recurrent neural network
language model
model combination
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
