-
题名基于多任务损失附加语言模型的语音识别方法
被引量：5
- 1
-
-
作者
柳永利
张绍阳
王裕恒
解熠
-
机构
长安大学信息工程学院
陕西交通控股集团有限公司运营管理分公司
-
出处
《江苏大学学报（自然科学版）》
CAS
北大核心
2023年第5期564-569,共6页
-
基金
陕西省重点产业创新链(群)项目(2021ZDLGY07-06)。
-
文摘
针对Attention过于灵活的对齐方式在复杂环境中适应性差、简单端到端模型对语言特征利用不充分的问题,研究了基于多任务损失附加语言模型的语音识别方法.通过分析语音信号特征,训练中选用包含更多信息的特征.以基于Attention的Conformer端到端模型为基础,采用CTC损失辅助纯Conformer(Attention)的多任务损失训练模型,得到Conformer-CTC语音识别模型.在Conformer-CTC模型基础上,通过分析对比部分语言模型的特点与效果,将Transformer语言模型通过重打分机制附加至上述模型的训练中,最终得到Conformer-CTC-Transformer语音识别模型.在AISHELL-1数据集上对上述模型进行了试验.结果表明:Conformer-CTC模型相对于纯Conformer(Attention)模型在测试集上的字错率(character error rate,CER)降低了0.49%,而Conformer-CTC-Transformer模型相对于Conformer-CTC模型在测试集上的CER又降低了0.79%.CTC损失可以改善Attention对齐方式在复杂环境中的适应性,并且对Conformer-CTC模型附加Transformer语言模型重打分后能再次提升0.30%的识别准确率.相较于现有的部分端到端模型,Conformer-CTC-Transformer模型识别效果较好,说明该模型具有一定的有效性.
-
关键词
语音识别
深度学习
语言模型
多任务损失
CONFORMER
TRANSFORMER
CTC
-
Keywords
speech recognition
deep learning
language model
multi-task loss
Conformer
Transformer
CTC
-
分类号
TP391.9
[自动化与计算机技术—计算机应用技术]
-
