-
题名融合特定语言适配模块的多语言神经机器翻译
被引量：10
- 1
-
-
作者
刘俊鹏
苏劲松
黄德根
-
机构
大连理工大学计算机科学与技术学院
厦门大学信息学院
-
出处
《计算机科学》
CSCD
北大核心
2022年第1期17-23,共7页
-
基金
国家重点研发计划(2020AAA0108004)。
-
文摘
多语言神经机器翻译利用单一的编码器-解码器模型对多种语言之间的翻译同时进行建模。多语言神经机器翻译不仅能够促进关联语言之间的知识迁移,提高低资源语言的翻译质量,并且能够实现未见语言对之间的翻译。现有多语言神经机器翻译仍然存在语言多样性建模能力不足和未见语言对翻译质量不佳的问题。为此,首先在现有的适配器模型基础上提出变维双语适配器模型,在Transformer模型的每个子层之间加入双语适配器以抽取每个语言对的独特特征,并通过改变适配器隐层维度调整编码器和解码器两端的特定语言表达空间;其次,提出一种共享单语适配器模型,对每种语言的独特特征进行建模。在IWSLT多语言翻译数据集上的实验结果表明,变维双语适配器模型能够显著提升多语言翻译的性能,而单语适配器模型能够在不影响多语言翻译性能的条件下提高未见语言对的翻译质量。
-
关键词
多语言神经机器翻译
特定语言建模
双语适配器
单语适配器
-
Keywords
Multilingual neural machine translation
Language-specific modeling
Bilingual adapter
Monolingual adapter
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于标签句子重构的多语言零样本神经机器翻译
- 2
-
-
作者
陈潇
杨雅婷
董瑞
时现伟
马博
吐尔洪·吾司曼
-
机构
中国科学院新疆理化技术研究所
中国科学院大学计算机科学与技术学院
新疆民族语音语言信息处理实验室
新疆维吾尔自治区党委政法委
-
出处
《中文信息学报》
北大核心
2025年第2期80-88,共9页
-
基金
中国科学院民族语言文字信息处理科学数据库(CASWX2021SF0311)
中国科学院青年创新促进会项目(科发人函字[2019]26号)
+4 种基金
中国科学院西部青年学者项目(2019-XBQNXZ-B-022)
中国科学院青年创新促进会优秀会员项目(Y2021112)
新疆维吾尔自治区自然科学基金重点基金(2022D01D04)
国家自然科学基金(U2003303)
新疆“天山英才”青年科技拔尖人才项目(2022TSYCCX0059)。
-
文摘
针对当前多语言零样本翻译的标签策略难以提供丰富的翻译方向信息和模型对语言建模能力的不足,进而导致翻译脱靶的问题,该文提出了使用标签句子重构的多语言零样本神经机器翻译方法。具体而言,首先提出了一种词级别的标签策略,在编码器端增加目标语言标签嵌入,在源语言句子每个词的嵌入表示中注入目标语言信息;其次设计了标签句子重构任务,对句子添加噪声和使用词级别的标签策略后进行重构操作,以达到增强模型语言建模能力的目的。在MultiUN数据集和Europarl数据集上的零样本实验结果表明,所提方法在零样本翻译上的平均BLEU值分别超过强基线0.7和0.3。消融实验结果表明,所提出的语言标签嵌入策略和标签句子重构均能有效提升模型的零样本翻译性能。
-
关键词
零样本机器翻译
多语言神经机器翻译
自然语言处理
-
Keywords
zero-shot machine translation
multilingual neural machine translation
natural language processing
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名零样本多语言神经机器翻译综述
- 3
-
-
作者
肖增
王斯日古楞
斯琴图
-
机构
内蒙古师范大学计算机科学技术学院
-
出处
《计算机科学与探索》
2025年第10期2635-2647,共13页
-
基金
国家自然科学基金(61762072)
内蒙古自然科学基金(2022MS06002,2024LHMS06024)。
-
文摘
在多语言神经机器翻译中,零样本翻译是一个重要的研究方向,旨在使模型能够翻译训练过程中从未见过的语言对,实现跨语言迁移学习。然而,现有多语言模型在处理未见过语言对时,仍面临诸如语义偏移、翻译质量不稳定、语言方向不对称等问题,严重影响了翻译效果的可靠性与一致性。为系统性梳理该领域的研究现状,围绕“多语言模型构建方式对零样本翻译性能的影响”这一核心问题展开综述,旨在为后续研究者提供理论支持和方法借鉴。零样本翻译对于训练语料匮乏的语言对翻译任务意义重大,很大程度上降低了翻译成本。从语料资源的角度出发,介绍了零样本翻译的研究背景、基本定义、核心原理及其在跨文化沟通、新语言支持等场景中的实际应用价值。针对当前主流的零样本翻译建模方法,从基于预训练模型、双语监督训练和大语言模型构建多语言神经机器翻译的三个方向进行介绍。分析了多语言神经机器翻译中零样本翻译的未来研究趋势,为该领域进一步研究提供参考。
-
关键词
零样本翻译
预训练模型
双语监督训练
大语言模型
多语言神经机器翻译
-
Keywords
zero-shot translation
pre-trained model
bilingual supervised training
large language model
multilingual neural machine translation
-
分类号
TP391
[自动化与计算机技术]
-
-
题名基于多模态联合建模的端到端语音到文本翻译
- 4
-
-
作者
欧佳乐
昝红英
许鸿飞
-
机构
郑州大学计算机与人工智能学院
-
出处
《小型微型计算机系统》
北大核心
2025年第10期2338-2344,共7页
-
基金
国家自然科学基金联合基金重点支持项目(U23A20316)资助
河南省科技攻关项目(232102211041)资助
+2 种基金
国家自然科学基金青年项目(62306284)资助
中国博士后科学基金项目(2023M743189)资助
河南省自然科学基金青年项目(232300421386)资助.
-
文摘
通过联合建模或多任务学习,可以利用大规模的语音识别和文本翻译数据来提升端到端语音到文本翻译的性能.然而,现有大多数方法通常需要对语音翻译模型进行架构调整,或者依赖多阶段的预训练和微调.此外,语音与文本之间的模态差异使得使用共享编码器同时处理二者变得具有挑战性.为了解决这些问题,本文提出了一个简单的多模态联合建模框架.该框架将语音翻译和文本翻译的联合建模视作多语言神经机器翻译建模,并在自注意层中引入模态感知的相对位置编码,使用模态感知的单一编码器来同时处理语音和文本编码,而无需复杂化模型架构.然后结合大规模语音识别数据,和提出的基于翻译损失方法筛选的文本翻译数据,进行多模态联合建模训练.在两个基准测试中的实验结果表明,与基线方法相比,使用单编码器方法对内部和外部的语音识别及文本翻译数据进行联合建模后,可以显著提高多个语音翻译任务上双向翻译(从英语和到英语)的性能.
-
关键词
端到端语音到文本翻译
多模态联合建模
多语言神经机器翻译
相对位置编码
-
Keywords
end-to-end speech-to-text translation
multi-modal joint modeling
multilingual neural machine translation
relative position encoding
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
