-
题名利用单语数据改进神经机器翻译压缩模型的翻译质量
被引量：11
- 1
-
-
作者
李响
刘洋
陈伟
刘群
-
机构
中国科学院计算技术研究所智能信息处理重点实验室
中国科学院大学
清华大学计算机科学与技术系
北京搜狗科技发展有限公司语音交互技术中心
华为诺亚方舟实验室
-
出处
《中文信息学报》
CSCD
北大核心
2019年第7期46-55,共10页
-
基金
国家自然科学基金(61876174,61662077)
-
文摘
该文提出利用一个大型且精度高的神经机器翻译模型(教师模型)从单语数据中提取隐性双语知识,从而改进小型且精度低的神经机器翻译模型(学生模型)的翻译质量。该文首先提出了'伪双语数据'的教学方法,利用教师模型翻译单语数据获得的合成双语数据改进学生模型,然后提出了'负对数似然—知识蒸馏联合优化'教学方法,除了利用合成双语数据,还利用教师模型获得的目标语言词语概率分布作为知识,从而在知识蒸馏框架下提高学生模型的翻译质量。实验证明,在中英和德英翻译任务上,使用该方法训练的学生模型不仅在领域内测试集上显著超过了基线学生模型,而且在领域外测试集上的泛化性能也得到了提高。
-
关键词
神经机器翻译
知识蒸馏
单语数据
-
Keywords
neural machine translation
knowledge distillation
monolingual data
-
分类号
TP391.2
[自动化与计算机技术—计算机应用技术]
-
