-
题名基于双语词典的远距离语对无监督神经机器翻译方法
- 1
-
-
作者
黄孟钦
-
机构
昆明理工大学信息工程与自动化学院
-
出处
《现代电子技术》
北大核心
2024年第7期161-164,共4页
-
文摘
为了缓解大型平行语料库稀缺性对机器翻译质量的影响,无监督方法在神经机器翻译领域备受关注,但其在远距离语言对上的翻译表现仍有待提高。因此,文中引入了翻译语言模型(TLM)并提出了Dict-TLM方法。该方法的核心思想是结合单语语料和无监督双语词典训练语言模型。具体而言,模型首先接受源语言句子作为输入,然后,不同于传统TLM只接受平行语料,Dict-TLM模型还接受源语言句子通过无监督双语词典处理后的数据作为输入,在这种输入中,模型将源语言句子中在双语词典中出现的单词替换为相应的目标语言翻译词,重要的是,该方法中的双语词典是无监督获得的。实验表明,Dict-TLM相对于传统无监督机器翻译在中英语言对上提高了3个BLEU分数。
-
关键词
无监督神经机器翻译
远距离语言对
预训练
TLM
双语词典
双语词嵌入
-
Keywords
unsupervised neural machine translation
distant language pairs
pre-training
TLM
bilingual dictionary
bilingual word embedding
-
分类号
TN99-34
[电子电信—信号与信息处理]
TP389.1
[自动化与计算机技术—计算机系统结构]
-
-
题名抑制无监督神经机器翻译模型退化的简单方法
被引量：2
- 2
-
-
作者
吴霖
陈杭英
李亚
余正涛
杨晓霞
王振晗
-
机构
昆明理工大学信息工程与自动化学院
昆明理工大学云南省人工智能重点实验室
-
出处
《中文信息学报》
CSCD
北大核心
2022年第9期57-66,共10页
-
基金
国家自然科学基金(61732005,61761026,61672271)
国家重点研发计划(2019QY1801)
云南省重大科技专项计划项目(202002AD080001)。
-
文摘
在中英语料下复现Facebook提出的无监督神经机器翻译方法时,我们发现模型出现了退化现象。该文分析了退化的可能原因并提出三种简单方法来抑制模型退化。方法一,遮蔽非目标语输出;方法二,双语词典逐词翻译退化译文;方法三,在训练过程中,添加10万句对的平行语料。结果显示,三种方法都能有效抑制模型退化。在无监督条件下,方法二的性能更好,BLEU值为7.87;在10万语料的低资源条件下,方法一效果更好,BLEU值为14.28,该文还分析了产生此现象的原因。
-
关键词
无监督神经机器翻译
低资源
模型退化
-
Keywords
unsupervised neural machine translation
low resource
model degeneration
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名利用质量估计改进无监督神经机器翻译
被引量：6
- 3
-
-
作者
徐佳
叶娜
张桂平
黎天宇
-
机构
沈阳航空航天大学人机智能研究中心
-
出处
《中文信息学报》
CSCD
北大核心
2021年第3期51-59,共9页
-
基金
教育部人文社会科学研究青年基金(19YJC740107)
国家自然科学基金(U1908216)
辽宁省重点研发计划(2019JHZ/10100020)。
-
文摘
传统上神经机器翻译依赖于大规模双语平行语料,而无监督神经机器翻译的方法避免了神经机器翻译对大量双语平行语料的过度依赖,更适合低资源语言或领域。无监督神经机器翻译训练时会产生伪平行数据,这些伪平行数据质量对机器翻译最终质量起到了决定性的作用。因此,该文提出利用质量估计的无监督神经机器翻译模型,通过在反向翻译的过程中使用质量估计对生成的伪平行数据评分,再选择评分(HTER)较高的平行数据训练神经网络。利用质量估计的方法可以控制反向翻译生成的伪平行数据的质量,为对抗生成网络提供了更丰富的训练样本,使对抗生成网络训练得更加充分。与基线模型相比,该模型在WMT 2019德语—英语和捷克语—英语新闻单语语料上BLEU值分别提升了0.79和0.55。
-
关键词
无监督神经机器翻译
反向翻译
质量估计
-
Keywords
unsupervised neural machine translation
back-translation
quality estimation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名面向低资源场景的神经机器翻译方法
被引量：1
- 4
-
-
作者
胡朝东
叶娜
张桂平
蔡东风
-
机构
沈阳航空航天大学人机智能研究中心
-
出处
《中文信息学报》
CSCD
北大核心
2024年第6期58-66,共9页
-
基金
国家自然科学基金(U1908216)
辽宁省重点研发计划(2019JH2/10100020)
沈阳市科学技术计划(20-202-1-28)。
-
文摘
神经机器翻译需要大规模的双语平行语料利用深度学习的方法构建翻译模型,但低资源场景下平行句对缺乏,导致训练的神经机器翻译模型效果较差。无监督神经机器翻译技术仅使用两种语言的单语数据,解决了神经机器翻译对大规模双语平行数据的依赖问题。但是无监督神经机器翻译技术存在两个问题,一是对于句法建模能力欠缺;二是在低资源场景下存在的少量双语语料不能用于模型训练,造成双语语料资源浪费。为了解决上述问题,该文提出在无监督神经机器翻译中融合句法知识的方法,使模型可以充分学习句子的句法信息;同时引入少量双语平行语料辅助无监督神经机器翻译训练,使模型直接学习源语言与目标语言单词之间的转换。与基线模型相比较,在英-法和德-英单语新闻数据集上BLEU值分别提升了1.65和1.79。
-
关键词
无监督神经机器翻译
句法知识
去噪自动编码器
-
Keywords
unsupervised neural machine translation
syntactic knowledge
denoising auto-encoder
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
