摘要
针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预测当前句子的过程中,使用缓存的句子信息作为篇章上下文信息,同时利用分组策略共享层与层之间的参数,减少模型的参数量,在有限的内存中尽可能多地提高语料的利用率。实验结果表明,融合参数共享策略的篇章级模型比句子级Transformer模型在BLEU4上高8.7,比不加入参数共享的篇章级机器翻译模型在BLEU4上高2.49。
Aiming at the lack of effective use of text context in traditional Mongolian-Chinese neural machine translation,a chapter-level Mongolian-Chinese neural machine translation model based on the Transformer model is constructed.The encoder uses a relative attention mechanism to retrieve global context information for multiple sentences,and the decoder uses a cache-based method records the relevant information of the translated sentence,and uses the cached sentence information as the text context information in the process of predicting the current sentence.At the same time,the grouping strategy is used to share the parameters between layers,reduces the amount of parameters in the model,and improves the utilization of corpus as much as possible in the limited memory.The experimental results show that our experiment is 8.7 higher than the sentence-level Transformer on BLEU4,and 2.49 higher than the chapter-level machine translation model without parameter sharing on BLEU4.
作者
张根茂
田永红
郝佳
张佳颖
ZHANG Genmao;TIAN Yonghong;HAO Jia;ZHANG Jiaying(School of Intelligent Engineering,Henan Institute of Technology,Xinxiang 453000,China;School of Data Science and Application,Inner Mongolia University of Technology,Hohhot O10080,China)
出处
《中央民族大学学报（自然科学版）》
2024年第2期48-53,共6页
Journal of Minzu University of China(Natural Sciences Edition)
基金
新乡市社科联调研课题(SKL-2023-246)
新乡市社科联调研课题(SKL-2023-248)。
关键词
蒙汉神经机器翻译
参数共享
篇章上下文
Mongolian-Chinese neural machine translation
parameter sharing
discourse context
作者简介
张根茂(1997-),男(汉族),河南平顶山人,河南工学院智能工程学院助教,主要研究方向:自然语言处理,机器翻译;通讯作者:田永红(1974-),男(汉族),内蒙古呼和浩特人,内蒙古工业大学数据科学与应用学院教授,主要研究方向:自然语言处理,机器翻译。
