检索结果-维普期刊中文期刊服务平台

融合图像注意力的多模态机器翻译模型被引量：5: 1; 作者李霞马骏腾覃世豪《中文信息学报》 CSCD 北大核心 2020年第7期68-78,共11页; 已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作... 展开更多; 关键词多模态机器翻译图像注意力图像全局语义图像局部语义; 在线阅读下载PDF 职称材料

基于图文细粒度对齐语义引导的多模态神经机器翻译方法被引量：2: 2; 作者叶俊杰郭军军 +2 位作者谭凯文相艳余正涛《中文信息学报》 CSCD 北大核心 2024年第10期24-34,共11页; 多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,... 展开更多; 关键词多模态神经机器翻译图文细粒度语义交互对齐语义; 在线阅读下载PDF 职称材料

双级交互式自适应融合的多模态神经机器翻译: 3; 作者杜连成郭军军 +1 位作者叶俊杰余正涛《计算机工程与科学》 CSCD 北大核心 2024年第11期2071-2080,共10页; 多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部... 展开更多; 关键词多模态神经机器翻译双视觉特征交互图-文跨模态自适应融合; 在线阅读下载PDF 职称材料

基于跨模态实体信息融合的神经机器翻译方法被引量：6: 4; 作者黄鑫张家俊宗成庆《自动化学报》 EI CAS CSCD 北大核心 2023年第6期1170-1180,共11页; 现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合... 展开更多; 关键词实体重构跨模态学习多任务学习多模态机器翻译; 在线阅读下载PDF 职称材料

融合覆盖机制的多模态神经机器翻译被引量：7: 5; 作者李志峰张家硕 +2 位作者洪宇尉桢楷姚建民《中文信息学报》 CSCD 北大核心 2020年第3期44-55,共12页; 多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里... 展开更多; 关键词多模态神经机器翻译覆盖机制过翻译及欠翻译; 在线阅读下载PDF 职称材料

神经机器翻译前沿综述被引量：42: 6; 作者冯洋邵晨泽《中文信息学报》 CSCD 北大核心 2020年第7期1-18,共18页; 机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程,是自然语言处理领域的一个重要研究方向。神经机器翻译仅需使用神经网络就能实现从源语言到目标语言的端到端翻译,目前已成为机器翻译研究的主流方向。该文... 展开更多; 关键词神经机器翻译模型训练同声传译多模态机器翻译非自回归机器翻译篇章翻译领域自适应多语言翻译; 在线阅读下载PDF 职称材料

基于门控机制多模态信息融合的图像描述翻译被引量：2: 7; 作者李志峰徐旻涵 +2 位作者洪宇姚建民周国栋《中文信息学报》 CSCD 北大核心 2024年第8期55-67,共13页; 图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程... 展开更多; 关键词图像描述翻译多模态机器翻译上下文门控忠实度及流畅度; 在线阅读下载PDF 职称材料

题名融合图像注意力的多模态机器翻译模型被引量：5: 1; 作者李霞马骏腾覃世豪; 机构广州市非通用语种智能处理重点实验室广东外语外贸大学信息科学与技术学院; 出处《中文信息学报》 CSCD 北大核心 2020年第7期68-78,共11页; 基金国家自然科学基金(61976062) 广州市科技计划项目(201904010303); 文摘已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用。基于此,该文提出一种融合图像注意力的多模态机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息。在多模态机器翻译数据集Multi30k上英语—德语翻译对以及人工标注的印尼语—汉语翻译对上的实验结果表明,该文提出的模型相比已有的基于循环神经网络的多模态机器翻译模型效果具有较好的提升,证明了该模型的有效性。; 关键词多模态机器翻译图像注意力图像全局语义图像局部语义; Keywords multimodal machine translation image attention global visual semantic information local visual semantic information; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名基于图文细粒度对齐语义引导的多模态神经机器翻译方法被引量：2: 2; 作者叶俊杰郭军军谭凯文相艳余正涛; 机构昆明理工大学信息工程与自动化学院云南大学信息学院; 出处《中文信息学报》 CSCD 北大核心 2024年第10期24-34,共11页; 基金国家重点研究与发展计划(2020AAA0107904) 国家自然科学基金(62366025) 云南省科技厅自然科学基金(202301AT070444)。; 文摘多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,该方法首先采用跨模态交互图文信息,以提取图文细粒度对齐语义信息,然后以图文细粒度对齐语义信息为枢纽,采用门控机制将多模态细粒度信息对齐到文本信息上,实现图文多模态特征融合。在多模态机器翻译基准数据集Multi30K英语到德语、英语到法语以及英语到捷克语翻译任务上的实验结果表明,该文提出的方法是有效的,并且优于大多数先进的多模态机器翻译方法。; 关键词多模态神经机器翻译图文细粒度语义交互对齐语义; Keywords multi-modal neural machine translation image-text fine-grained semantic interaction alignment semantic; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名双级交互式自适应融合的多模态神经机器翻译: 3; 作者杜连成郭军军叶俊杰余正涛; 机构昆明理工大学信息工程与自动化学院云南省人工智能重点实验室; 出处《计算机工程与科学》 CSCD 北大核心 2024年第11期2071-2080,共10页; 基金国家重点研发计划(2020-AAA0107904) 国家自然科学基金(61866020) +1 种基金云南省重大科技专项(202103AA080015)。; 文摘多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部关系的探索,导致视觉信息的利用率较低,无法充分利用图像所包含的全部语义信息。因此,提出了一种双级交互式自适应融合的多模态神经机器翻译方法,该方法考虑了图像不同方面的属性特征,以充分利用图像的视觉信息。实验结果显示,该方法能够有效地利用图像所具有的视觉信息,并且在Multi30K数据集的英语→德语(EN→DE)和英语→法语(EN→FR)2种翻译任务的测试上的效果显著优于当前大多数的效果最优(SOTA)多模态神经机器翻译方法的结果,十分具有竞争力。; 关键词多模态神经机器翻译双视觉特征交互图-文跨模态自适应融合; Keywords multimodal neural machine translation dual visual feature interaction image-to-text cross-modal adaptive fusion; 分类号 TP181 [自动化与计算机技术—控制理论与控制工程]; 在线阅读下载PDF 职称材料

题名基于跨模态实体信息融合的神经机器翻译方法被引量：6: 4; 作者黄鑫张家俊宗成庆; 机构中国科学院自动化研究所模式识别国家重点实验室中国科学院大学人工智能学院; 出处《自动化学报》 EI CAS CSCD 北大核心 2023年第6期1170-1180,共11页; 基金国家自然科学基金(U1836221)资助。; 文摘现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合语义的问题.针对这些问题,提出了一种跨模态实体重构(Cross-modal entity reconstruction,CER)方法.区别于将完整的图片输入到翻译模型中,该方法显式对齐文本与图像中的实体,通过文本上下文与一种模态的实体的组合来重构另一种模态的实体,最终达到实体级的跨模态语义融合的目的,通过多任务学习方法将CER模型与翻译模型结合,达到提升翻译质量的目的.该方法在多模态翻译数据集的两个语言对上取得了最佳的翻译准确率.进一步的分析实验表明,该方法能够有效提升模型在翻译过程中对源端文本实体的忠实度.; 关键词实体重构跨模态学习多任务学习多模态机器翻译; Keywords Entity reconstruction cross-modal learning multi-task learning multi-modal machine translation(MMT); 分类号 TP391.2 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名融合覆盖机制的多模态神经机器翻译被引量：7: 5; 作者李志峰张家硕洪宇尉桢楷姚建民; 机构苏州大学计算机科学与技术学院; 出处《中文信息学报》 CSCD 北大核心 2020年第3期44-55,共12页; 基金国家自然科学基金(61672367,61672368,61703293)。; 文摘多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译和欠翻译的情况。针对以上问题,该文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对过去重复信息的关注。在WMT16、WMT17测试集上进行实验,验证了上述方法的有效性,在WMT16英德和英法以及WMT17英德和英法测试集上,对比基准系统BLEU值分别提升了1.2,0.8,0.7和0.6个百分点。; 关键词多模态神经机器翻译覆盖机制过翻译及欠翻译; Keywords multimodal neural machine translation coverage mechanism over-translation and under-translation; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名神经机器翻译前沿综述被引量：42: 6; 作者冯洋邵晨泽; 机构中国科学院计算技术研究所智能信息处理重点实验室中国科学院大学; 出处《中文信息学报》 CSCD 北大核心 2020年第7期1-18,共18页; 基金国家重点研发计划政府间国际科技创新合作重点专项(2017YFE0192900); 文摘机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程,是自然语言处理领域的一个重要研究方向。神经机器翻译仅需使用神经网络就能实现从源语言到目标语言的端到端翻译,目前已成为机器翻译研究的主流方向。该文选取了近期神经机器翻译的几个主要研究领域,包括同声传译、多模态机器翻译、非自回归模型、篇章翻译、领域自适应、多语言翻译和模型训练,并对这些领域的前沿研究进展做简要介绍。; 关键词神经机器翻译模型训练同声传译多模态机器翻译非自回归机器翻译篇章翻译领域自适应多语言翻译; Keywords neural machine translation model training simultaneous translation multi-modal translation non-autoregressive translation document-level translation domain adaptation multilingual translation; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

题名基于门控机制多模态信息融合的图像描述翻译被引量：2: 7; 作者李志峰徐旻涵洪宇姚建民周国栋; 机构苏州大学计算机科学与技术学院; 出处《中文信息学报》 CSCD 北大核心 2024年第8期55-67,共13页; 基金国家自然科学基金(62076174,61773276,61836007)。; 文摘图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程。翻译过程中,目标词的生成依赖于源语言上下文和目标语言上下文信息。通过观察发现,源语言上下文偏于影响翻译结果的充分性和忠实度,而目标语言上下文偏于影响翻译结果的流畅性和衔接度。由于缺少有效机制来调节两种上下文信息的贡献度,翻译模型会生成流畅但不充分或者充分但不流畅的句子。针对以上问题,该文提出一种基于门控机制多模态信息融合的解码方法,用于优化现有图像描述翻译模型。该文模型通过源上下文门控调整图像特征和每个源语言词的重要度,过滤掉图像中不相关的特征;通过目标上下文门控动态调整源语言上下文和目标语言上下文对翻译结果的贡献度,从而有效提高翻译结果的充分性和流畅性。在Multi30k数据集上进行实验,验证了上述方法的有效性,在Multi30k-16英德和英法以及Multi30k-17英德和英法测试集上,BLEU-4值对比基准系统分别提升了1.3、1.0、1.5和1.4个百分点。; 关键词图像描述翻译多模态机器翻译上下文门控忠实度及流畅度; Keywords image description translation multimodal machine translation context gates adequacy and fluency; 分类号 TP391 [自动化与计算机技术—计算机应用技术]; 在线阅读下载PDF 职称材料

	题名	作者	出处	发文年	被引量	操作
1	融合图像注意力的多模态机器翻译模型	李霞马骏腾覃世豪	《中文信息学报》 CSCD 北大核心	2020	5	在线阅读下载PDF 职称材料
2	基于图文细粒度对齐语义引导的多模态神经机器翻译方法	叶俊杰郭军军谭凯文相艳余正涛	《中文信息学报》 CSCD 北大核心	2024	2	在线阅读下载PDF 职称材料
3	双级交互式自适应融合的多模态神经机器翻译	杜连成郭军军叶俊杰余正涛	《计算机工程与科学》 CSCD 北大核心	2024	0	在线阅读下载PDF 职称材料
4	基于跨模态实体信息融合的神经机器翻译方法	黄鑫张家俊宗成庆	《自动化学报》 EI CAS CSCD 北大核心	2023	6	在线阅读下载PDF 职称材料
5	融合覆盖机制的多模态神经机器翻译	李志峰张家硕洪宇尉桢楷姚建民	《中文信息学报》 CSCD 北大核心	2020	7	在线阅读下载PDF 职称材料
6	神经机器翻译前沿综述	冯洋邵晨泽	《中文信息学报》 CSCD 北大核心	2020	42	在线阅读下载PDF 职称材料
7	基于门控机制多模态信息融合的图像描述翻译	李志峰徐旻涵洪宇姚建民周国栋	《中文信息学报》 CSCD 北大核心	2024	2	在线阅读下载PDF 职称材料