期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
3
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
一种Mask交互融合预训练知识的低资源神经机器翻译方法
被引量：
2
1
作者
朱志国
郭军军
余正涛
《小型微型计算机系统》
CSCD
北大核心
2024年第3期591-597,共7页
融合预训练语言知识是提升低资源神经机器翻译性能的有效手段.现有融合预训练语言知识的方法都比较复杂,计算资源消耗较大.针对以上问题,本文提出了一种简单有效的Mask交互融合预训练知识的低资源神经机器翻译方法,首先利用BERT的句子...
融合预训练语言知识是提升低资源神经机器翻译性能的有效手段.现有融合预训练语言知识的方法都比较复杂,计算资源消耗较大.针对以上问题,本文提出了一种简单有效的Mask交互融合预训练知识的低资源神经机器翻译方法,首先利用BERT的句子表征与源语言表征的自注意力交互计算两种表征的相似度,根据相似度值构造Mask知识矩阵,然后将Mask知识矩阵作用于源语言表征,自适应地将BERT表征中对低资源神经机器翻译任务有益的语言知识融入翻译模型,提升翻译模型对语言知识的表征能力.在IWSLT标准低资源翻译任务上的实验结果表明,与Transformer基线模型相比,所提方法获得了0.9~3.39的BLEU值提升,证明了所提方法能够有效利用预训练语言知识增强神经机器翻译性能.
展开更多
关键词
低资源神经机器翻译
知识融合
BERT
Mask交互融合
在线阅读
下载PDF
职称材料
语言模型蒸馏的低资源神经机器翻译方法
被引量：
1
2
作者
申影利
赵小兵
《计算机工程与科学》
CSCD
北大核心
2024年第4期743-751,共9页
大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富...
大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)~2.11%(汉维方向)。
展开更多
关键词
语言模型
知识蒸馏
正则化
低资源神经机器翻译
在线阅读
下载PDF
职称材料
GEA-NMT:图卷积增强的多任务低资源机器翻译模型
被引量：
2
3
作者
张宝兴
彭敦陆
王雅峰
《小型微型计算机系统》
CSCD
北大核心
2024年第9期2156-2164,共9页
在低资源语种上训练高质量机器翻译系统的主要障碍是平行语料的稀缺,一些低资源语言在语言上与高资源语言相关或相似,相似的语言可能使用相同的字符集或类似的句法结构.本文利用低资源语种上的单语数据及与之相关联的高资源语种和目标...
在低资源语种上训练高质量机器翻译系统的主要障碍是平行语料的稀缺,一些低资源语言在语言上与高资源语言相关或相似,相似的语言可能使用相同的字符集或类似的句法结构.本文利用低资源语种上的单语数据及与之相关联的高资源语种和目标语言的平行语料,尝试将翻译知识进行迁移,从而完成低资源语种和目标语言间的翻译模型训练.本文提出一种图卷积增强的多任务训练低资源神经机器翻译模型(GCN Enhanced multi-task Adapting Neural Machine Translation,GEA-NMT),结合降噪自编码器、生成对抗训练、回译和桥接方法,并使用图神经网络学习句法依赖关系以进一步提升低资源语种上的神经机器翻译模型效果.
展开更多
关键词
低资源神经机器翻译
图
神经
网络
多任务训练
在线阅读
下载PDF
职称材料
题名
一种Mask交互融合预训练知识的低资源神经机器翻译方法
被引量：
2
1
作者
朱志国
郭军军
余正涛
机构
昆明理工大学信息工程与自动化学院
昆明理工大学云南省人工智能重点实验室
出处
《小型微型计算机系统》
CSCD
北大核心
2024年第3期591-597,共7页
基金
国家重点研发计划项目(2020AAA0107904)资助
国家自然科学基金项目(61866020,61762056)资助
云南省科技厅自然科学基金项目(2019FB082,2019QY1801)资助.
文摘
融合预训练语言知识是提升低资源神经机器翻译性能的有效手段.现有融合预训练语言知识的方法都比较复杂,计算资源消耗较大.针对以上问题,本文提出了一种简单有效的Mask交互融合预训练知识的低资源神经机器翻译方法,首先利用BERT的句子表征与源语言表征的自注意力交互计算两种表征的相似度,根据相似度值构造Mask知识矩阵,然后将Mask知识矩阵作用于源语言表征,自适应地将BERT表征中对低资源神经机器翻译任务有益的语言知识融入翻译模型,提升翻译模型对语言知识的表征能力.在IWSLT标准低资源翻译任务上的实验结果表明,与Transformer基线模型相比,所提方法获得了0.9~3.39的BLEU值提升,证明了所提方法能够有效利用预训练语言知识增强神经机器翻译性能.
关键词
低资源神经机器翻译
知识融合
BERT
Mask交互融合
Keywords
low-resource neural machine translation
knowledge fusion
BERT
Mask interactive fusion
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
语言模型蒸馏的低资源神经机器翻译方法
被引量：
1
2
作者
申影利
赵小兵
机构
中央民族大学中国少数民族语言文学学院
国家语言资源监测与研究少数民族语言中心
中央民族大学信息工程学院
出处
《计算机工程与科学》
CSCD
北大核心
2024年第4期743-751,共9页
基金
国家社会科学基金重大项目(22&ZD035)。
文摘
大规模平行语料库的缺乏是低资源神经机器翻译面临的关键问题之一。提出语言模型蒸馏的神经机器翻译方法,通过单语语言模型对神经机器翻译训练进行正则化,引入语言模型包含的先验知识以提升翻译效果。具体地,借鉴知识蒸馏思想,使用丰富单语数据训练的目标端语言模型(教师模型)构造低资源神经机器翻译模型(学生模型)的正则化因子,让翻译模型学习到语言模型中高度泛化的先验知识。与传统单语语言模型融合参与解码过程不同的是,本文方法中的语言模型只在训练阶段使用,不参与推断阶段,因此能够有效提升解码速度。在第十七届全国机器翻译大会CCMT2021维吾尔语-汉语和藏语-汉语2种民汉低资源翻译数据集上的实验结果表明,相比目前最先进的语言模型融合方法,BLEU提高了1.42%(藏汉方向)~2.11%(汉维方向)。
关键词
语言模型
知识蒸馏
正则化
低资源神经机器翻译
Keywords
language model
knowledge distillation
regularization
low-resource neural machine translation
分类号
H085 [语言文字—语言学]
在线阅读
下载PDF
职称材料
题名
GEA-NMT:图卷积增强的多任务低资源机器翻译模型
被引量：
2
3
作者
张宝兴
彭敦陆
王雅峰
机构
上海理工大学光电信息与计算机工程学院
陕西省天然气股份有限公司
出处
《小型微型计算机系统》
CSCD
北大核心
2024年第9期2156-2164,共9页
基金
国家自然科学基金项目(61772342)资助.
文摘
在低资源语种上训练高质量机器翻译系统的主要障碍是平行语料的稀缺,一些低资源语言在语言上与高资源语言相关或相似,相似的语言可能使用相同的字符集或类似的句法结构.本文利用低资源语种上的单语数据及与之相关联的高资源语种和目标语言的平行语料,尝试将翻译知识进行迁移,从而完成低资源语种和目标语言间的翻译模型训练.本文提出一种图卷积增强的多任务训练低资源神经机器翻译模型(GCN Enhanced multi-task Adapting Neural Machine Translation,GEA-NMT),结合降噪自编码器、生成对抗训练、回译和桥接方法,并使用图神经网络学习句法依赖关系以进一步提升低资源语种上的神经机器翻译模型效果.
关键词
低资源神经机器翻译
图
神经
网络
多任务训练
Keywords
low-resource NMT
graph neural networks
multi-task training
分类号
TP391 [自动化与计算机技术—计算机应用技术]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
一种Mask交互融合预训练知识的低资源神经机器翻译方法
朱志国
郭军军
余正涛
《小型微型计算机系统》
CSCD
北大核心
2024
2
在线阅读
下载PDF
职称材料
2
语言模型蒸馏的低资源神经机器翻译方法
申影利
赵小兵
《计算机工程与科学》
CSCD
北大核心
2024
1
在线阅读
下载PDF
职称材料
3
GEA-NMT:图卷积增强的多任务低资源机器翻译模型
张宝兴
彭敦陆
王雅峰
《小型微型计算机系统》
CSCD
北大核心
2024
2
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
