-
题名循环神经网络在语音识别模型中的训练加速方法
被引量：9
- 1
-
-
作者
冯诗影
韩文廷
金旭
迟孟贤
安虹
-
机构
中国科学技术大学计算机科学与技术学院
-
出处
《小型微型计算机系统》
CSCD
北大核心
2018年第12期2561-2565,共5页
-
基金
国家重点研发计划项目(2016YFB1000403)资助
-
文摘
深度神经网络目前已被广泛应用于众多领域.尤其在自然语言处理领域,基于循环神经网络的模型训练效果明显优于其他传统方法.然而模型复杂度不断提高,有限存储空间成为进一步训练大规模任务的瓶颈,例如使用图形处理器(GPU)进行加速训练.本文提出一种基于语音识别模型,对循环神经网络进行训练加速的有效方法.首先,基于输入训练集序列的长度分布,对每一批训练样本进行划分,并重新组织;其次,通过对GPU显存的高效使用,每一批次训练样本数增多,从而提升计算效率,减少训练时间.本文分别从不同的批样本数及不同序列组织方法,通过对比单位时间处理序列数衡量优化效果.实验表明,基于3层循环神经网络的语音识别模型训练中,单GPU训练可达到1. 7倍加速比.
-
关键词
循环神经网络
语音识别
GPU
序列分组
存储
-
Keywords
recurrent neural network
speech recognition
GPU
sequence bucketing
memory
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
