数字化读图时代多模态翻译能力与培养策略 被引量：3

1

作者 吴静 龙明慧 《外国语文》 北大核心 2023年第6期159-168,共10页

在21世纪数字化读图时代,随着多模态信息传播的流行,多模态翻译在跨文化信息传播中发挥着日益重要的作用。然而,当前翻译教学主要注重的还是培养语言翻译人才,较少关注对学生多模态翻译能力的培养。因此,本文立足多模态翻译的特点,构建... 在21世纪数字化读图时代,随着多模态信息传播的流行,多模态翻译在跨文化信息传播中发挥着日益重要的作用。然而,当前翻译教学主要注重的还是培养语言翻译人才,较少关注对学生多模态翻译能力的培养。因此,本文立足多模态翻译的特点,构建多模态翻译能力模式,探索具体的多模态翻译能力培养策略,为培养更能适应时代需求的多模态翻译人才提供借鉴和参考。 展开更多

关键词 数字化读图时代 多模态翻译 多模态翻译能力模式 多模态翻译人才培养

在线阅读 下载PDF 职称材料

《美丽中国》解说词的多模态翻译及国家形象建构研究 被引量：15

2

作者 武建国 李玓桥 张宏珊 《山东外语教学》 北大核心 2021年第5期31-41,共11页

纪录片集图像、声音、文字于一体,具有典型的多模态特征,在带给观众丰富感官体验的同时能有效地塑造和传递国家形象。鉴于此,本文基于Pastra(2008)的跨媒体互动关系和Delabastita(1990)的符际转换模型,以自然风光纪录片《美丽中国》为例... 纪录片集图像、声音、文字于一体,具有典型的多模态特征,在带给观众丰富感官体验的同时能有效地塑造和传递国家形象。鉴于此,本文基于Pastra(2008)的跨媒体互动关系和Delabastita(1990)的符际转换模型,以自然风光纪录片《美丽中国》为例,通过分析原文语篇中的多模态关系,识别出潜在的翻译问题,并探讨译者如何利用多模态翻译策略改变“他塑”的中国形象。分析表明,多模态关系主要表现为等价性、独立性和互补性,BBC利用延伸、选择、排除、强调、详述等方法塑造了特定的中国形象,而CCTV在保留或调整原文语篇多模态关系的基础上,通过增译、缩译、省略、编译等策略合理重塑中国形象。本文旨在提出适合多模态翻译的分析模式,探索有效的多模态翻译策略,从而建构更加真实全面的中国形象。 展开更多

关键词 多模态翻译 国家形象建构 翻译策略 《美丽中国》

在线阅读 下载PDF 职称材料

基于门控机制多模态信息融合的图像描述翻译 被引量：2

3

作者 李志峰 徐旻涵 +2 位作者 洪宇 姚建民 周国栋 《中文信息学报》 CSCD 北大核心 2024年第8期55-67,共13页

图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程... 图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程。翻译过程中,目标词的生成依赖于源语言上下文和目标语言上下文信息。通过观察发现,源语言上下文偏于影响翻译结果的充分性和忠实度,而目标语言上下文偏于影响翻译结果的流畅性和衔接度。由于缺少有效机制来调节两种上下文信息的贡献度,翻译模型会生成流畅但不充分或者充分但不流畅的句子。针对以上问题,该文提出一种基于门控机制多模态信息融合的解码方法,用于优化现有图像描述翻译模型。该文模型通过源上下文门控调整图像特征和每个源语言词的重要度,过滤掉图像中不相关的特征;通过目标上下文门控动态调整源语言上下文和目标语言上下文对翻译结果的贡献度,从而有效提高翻译结果的充分性和流畅性。在Multi30k数据集上进行实验,验证了上述方法的有效性,在Multi30k-16英德和英法以及Multi30k-17英德和英法测试集上,BLEU-4值对比基准系统分别提升了1.3、1.0、1.5和1.4个百分点。 展开更多

关键词 图像描述翻译 多模态机器翻译 上下文门控 忠实度及流畅度

在线阅读 下载PDF 职称材料

基于图文细粒度对齐语义引导的多模态神经机器翻译方法 被引量：2

4

作者 叶俊杰 郭军军 +2 位作者 谭凯文 相艳 余正涛 《中文信息学报》 CSCD 北大核心 2024年第10期24-34,共11页

多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,... 多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,该方法首先采用跨模态交互图文信息,以提取图文细粒度对齐语义信息,然后以图文细粒度对齐语义信息为枢纽,采用门控机制将多模态细粒度信息对齐到文本信息上,实现图文多模态特征融合。在多模态机器翻译基准数据集Multi30K英语到德语、英语到法语以及英语到捷克语翻译任务上的实验结果表明,该文提出的方法是有效的,并且优于大多数先进的多模态机器翻译方法。 展开更多

关键词 多模态神经机器翻译 图文细粒度 语义交互 对齐语义

在线阅读 下载PDF 职称材料

双级交互式自适应融合的多模态神经机器翻译

5

作者 杜连成 郭军军 +1 位作者 叶俊杰 余正涛 《计算机工程与科学》 CSCD 北大核心 2024年第11期2071-2080,共10页

多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部... 多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部关系的探索,导致视觉信息的利用率较低,无法充分利用图像所包含的全部语义信息。因此,提出了一种双级交互式自适应融合的多模态神经机器翻译方法,该方法考虑了图像不同方面的属性特征,以充分利用图像的视觉信息。实验结果显示,该方法能够有效地利用图像所具有的视觉信息,并且在Multi30K数据集的英语→德语(EN→DE)和英语→法语(EN→FR)2种翻译任务的测试上的效果显著优于当前大多数的效果最优(SOTA)多模态神经机器翻译方法的结果,十分具有竞争力。 展开更多

关键词 多模态神经机器翻译 双视觉特征交互 图-文跨模态自适应融合

在线阅读 下载PDF 职称材料

活态史诗《格萨尔》漫画翻译的多模态话语阐释

6

作者 王治国 张若楠 《西藏研究》 CSSCI 北大核心 2023年第5期134-140,164,共8页

漫画版《格萨尔》以语图互文和图文阐释的艺术形式讲述英雄格萨尔故事,旨在为中外读者呈现活态史诗精髓。漫画翻译不仅关涉文字转换与插图移植,而且关乎可读和可见两种模态间的图文互释与语义互补。漫画翻译的难点在于如何越过因文字和... 漫画版《格萨尔》以语图互文和图文阐释的艺术形式讲述英雄格萨尔故事,旨在为中外读者呈现活态史诗精髓。漫画翻译不仅关涉文字转换与插图移植,而且关乎可读和可见两种模态间的图文互释与语义互补。漫画翻译的难点在于如何越过因文字和图像之间由于缺乏同质性或文化差异而造成的阅读障碍。漫画翻译的多模态阐释对新时期翻译研究的视界拓展具有重要学术价值与实践意义。 展开更多

关键词 活态史诗 《格萨尔》 新媒体时代 多模态翻译

在线阅读 下载PDF 职称材料

基于跨模态实体信息融合的神经机器翻译方法 被引量：6

7

作者 黄鑫 张家俊 宗成庆 《自动化学报》 EI CAS CSCD 北大核心 2023年第6期1170-1180,共11页

现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合... 现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合语义的问题.针对这些问题,提出了一种跨模态实体重构(Cross-modal entity reconstruction,CER)方法.区别于将完整的图片输入到翻译模型中,该方法显式对齐文本与图像中的实体,通过文本上下文与一种模态的实体的组合来重构另一种模态的实体,最终达到实体级的跨模态语义融合的目的,通过多任务学习方法将CER模型与翻译模型结合,达到提升翻译质量的目的.该方法在多模态翻译数据集的两个语言对上取得了最佳的翻译准确率.进一步的分析实验表明,该方法能够有效提升模型在翻译过程中对源端文本实体的忠实度. 展开更多

关键词 实体重构 跨模态学习 多任务学习 多模态机器翻译

在线阅读 下载PDF 职称材料

多模态焊缝图像像素级配准技术

8

作者 黄振荣 黄瑶 +2 位作者 涂旺 王飞 陈斌 《计算机应用》 CSCD 北大核心 2024年第S2期229-233,共5页

为了挖掘多模态工业焊缝图像视觉特征并通过模态翻译的方式进一步提高多模态工业图像的配准效果,提出一种基于模态翻译的多模态焊缝图像像素级配准网络。首先,通过设计跨模态翻译模块赋予网络捕获不同模态工业图像共享特征的感知能力;其... 为了挖掘多模态工业焊缝图像视觉特征并通过模态翻译的方式进一步提高多模态工业图像的配准效果,提出一种基于模态翻译的多模态焊缝图像像素级配准网络。首先,通过设计跨模态翻译模块赋予网络捕获不同模态工业图像共享特征的感知能力;其次,捕获共享特征以进行多模态图像配准,并利用对抗性损失和多层级对比损失提高模态翻译效果;同时,结合跨模态翻译模块与单模态图像配准模块,并通过重构损失提升像素级配准性能;最后,构建多模态工业焊缝图像数据集,并基于此数据集开展对比实验。实验结果表明,相较于DFMIR(Discriminator-Free-Medical-Image-Registration)和IMSE(Indescribable Multi-modal Spatial Evaluator)等现有的先进多模态图像配准模型,所提网络在平均交并比(mIoU)上提升了3.9、3.2个百分点,在平均欧氏距离(aEd)上提升了约16、11个像素点的配准精度,在像素级别配准上取得了较好的结果。 展开更多

关键词 工业焊缝成像 多模态图像配准 模态翻译 共享特征 多层级对比学习

在线阅读 下载PDF 职称材料

融合覆盖机制的多模态神经机器翻译 被引量：7

9

作者 李志峰 张家硕 +2 位作者 洪宇 尉桢楷 姚建民 《中文信息学报》 CSCD 北大核心 2020年第3期44-55,共12页

多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里... 多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译和欠翻译的情况。针对以上问题,该文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对过去重复信息的关注。在WMT16、WMT17测试集上进行实验,验证了上述方法的有效性,在WMT16英德和英法以及WMT17英德和英法测试集上,对比基准系统BLEU值分别提升了1.2,0.8,0.7和0.6个百分点。 展开更多

关键词 多模态神经机器翻译 覆盖机制 过翻译及欠翻译

在线阅读 下载PDF 职称材料

融合图像注意力的多模态机器翻译模型 被引量：5

10

作者 李霞 马骏腾 覃世豪 《中文信息学报》 CSCD 北大核心 2020年第7期68-78,共11页

已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作... 已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用。基于此,该文提出一种融合图像注意力的多模态机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息。在多模态机器翻译数据集Multi30k上英语—德语翻译对以及人工标注的印尼语—汉语翻译对上的实验结果表明,该文提出的模型相比已有的基于循环神经网络的多模态机器翻译模型效果具有较好的提升,证明了该模型的有效性。 展开更多

关键词 多模态机器翻译 图像注意力 图像全局语义 图像局部语义

在线阅读 下载PDF 职称材料

少数民族活态史诗翻译的三重维度 被引量：7

11

作者 王治国 《内蒙古社会科学》 CSSCI 北大核心 2019年第2期132-138,共7页

活态史诗翻译既关涉语言转换和文本迻译,又要再现史诗表演的文化语境,核心是在译入语书面文化中如何再现和表达史诗口语文化的意义与语境。对活态史诗译介的三个维度,包括史诗的语言维度即史诗语言的诗性特点、文化维度即文化表征功能... 活态史诗翻译既关涉语言转换和文本迻译,又要再现史诗表演的文化语境,核心是在译入语书面文化中如何再现和表达史诗口语文化的意义与语境。对活态史诗译介的三个维度,包括史诗的语言维度即史诗语言的诗性特点、文化维度即文化表征功能和语境维度即口头表演语境进行聚焦。研究发现,借鉴民族志诗学、人类学深度描写、多模态话语等最新理论成果,可以构建一种涵盖活态史诗语言、文化和语境三重维度的多模态翻译模式,从而再现活态史诗的原初样态和艺术魅力。 展开更多

关键词 活态史诗 民族志诗学 深度翻译 多模态翻译

在线阅读 下载PDF 职称材料

神经机器翻译前沿综述 被引量：42

12

作者 冯洋 邵晨泽 《中文信息学报》 CSCD 北大核心 2020年第7期1-18,共18页

机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程,是自然语言处理领域的一个重要研究方向。神经机器翻译仅需使用神经网络就能实现从源语言到目标语言的端到端翻译,目前已成为机器翻译研究的主流方向。该文... 机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程,是自然语言处理领域的一个重要研究方向。神经机器翻译仅需使用神经网络就能实现从源语言到目标语言的端到端翻译,目前已成为机器翻译研究的主流方向。该文选取了近期神经机器翻译的几个主要研究领域,包括同声传译、多模态机器翻译、非自回归模型、篇章翻译、领域自适应、多语言翻译和模型训练,并对这些领域的前沿研究进展做简要介绍。 展开更多

关键词 神经机器翻译 模型训练 同声传译 多模态机器翻译 非自回归机器翻译 篇章翻译 领域自适应 多语言翻译

在线阅读 下载PDF 职称材料

国际传播能力建设与翻译学发展的未来向度 被引量：60

13

作者 吴赟 《上海交通大学学报（哲学社会科学版）》 CSSCI 北大核心 2022年第1期12-22,共11页

国际传播能力对于一国的国际话语权和国际形象具有柔性建构功能,是国家软实力建设的重要组成部分。对于中国而言,国际传播能力建设关乎中国国际话语权与影响力的提升。加强国际传播能力建设这一命题的提出为翻译学的建设带来了重要机遇... 国际传播能力对于一国的国际话语权和国际形象具有柔性建构功能,是国家软实力建设的重要组成部分。对于中国而言,国际传播能力建设关乎中国国际话语权与影响力的提升。加强国际传播能力建设这一命题的提出为翻译学的建设带来了重要机遇,同时也为这一学科的未来发展指明了新兴的研究方向。文章在相关研究基础上廓清了国际传播能力的概念,剖析了翻译能力在国际传播能力中的重要角色,指出在国际传播能力建设的要求下,今后翻译学可在翻译研究的理论体系建构、翻译的多模态研究、翻译的受众及其接受效果研究以及翻译人才培养四个向度上着力拓展。 展开更多

关键词 国际传播能力 对外翻译 对外传播 翻译的多模态研究 接受效果

在线阅读 下载PDF 职称材料