期刊文献+
共找到3篇文章
< 1 >
每页显示 20 50 100
基于变分信息瓶颈的半监督神经机器翻译 被引量:7
1
作者 于志强 余正涛 +2 位作者 黄于欣 郭军军 高盛祥 《自动化学报》 EI CAS CSCD 北大核心 2022年第7期1678-1689,共12页
变分方法是机器翻译领域的有效方法,其性能较依赖于数据量规模.然而在低资源环境下,平行语料资源匮乏,不能满足变分方法对数据量的需求,因此导致基于变分的模型翻译效果并不理想.针对该问题,本文提出基于变分信息瓶颈的半监督神经机器... 变分方法是机器翻译领域的有效方法,其性能较依赖于数据量规模.然而在低资源环境下,平行语料资源匮乏,不能满足变分方法对数据量的需求,因此导致基于变分的模型翻译效果并不理想.针对该问题,本文提出基于变分信息瓶颈的半监督神经机器翻译方法,所提方法的具体思路为:首先在小规模平行语料的基础上,通过引入跨层注意力机制充分利用神经网络各层特征信息,训练得到基础翻译模型;随后,利用基础翻译模型,使用回译方法从单语语料生成含噪声的大规模伪平行语料,对两种平行语料进行合并形成组合语料,使其在规模上能够满足变分方法对数据量的需求;最后,为了减少组合语料中的噪声,利用变分信息瓶颈方法在源与目标之间添加中间表征,通过训练使该表征具有放行重要信息、阻止非重要信息流过的能力,从而达到去除噪声的效果.多个数据集上的实验结果表明,本文所提方法能够显著地提高译文质量,是一种适用于低资源场景的半监督神经机器翻译方法. 展开更多
关键词 神经机器翻译 跨层注意力机制 回译 变分信息瓶颈
在线阅读 下载PDF
图文跨模态检索的概率分布表示学习 被引量:3
2
作者 杨晨 刘立波 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2022年第5期751-759,共9页
针对现有图文跨模态检索方法中样本的单点特征仅能体现样本与语义空间中特定一点的关联而无法表征与整个空间所有点的关系,进而造成对样本语义复杂性和样本间局部相似性表达能力不足的问题,提出一种图文跨模态检索的概率分布表示学习方... 针对现有图文跨模态检索方法中样本的单点特征仅能体现样本与语义空间中特定一点的关联而无法表征与整个空间所有点的关系,进而造成对样本语义复杂性和样本间局部相似性表达能力不足的问题,提出一种图文跨模态检索的概率分布表示学习方法.首先利用样本标签信息学习样本的显著性语义特征,从而基于变分信息瓶颈思想构建不同模态的语义空间并学习各样本语义分布,通过样本语义分布对应于空间中每点的概率密度值直接反映各点与给定样本的关联;接着引入铰链三元组损失对齐属于不同模态的样本语义分布,以保证相似图像-文本对所对应语义分布的相似性;最后使用语义分布作为样本特征,采用巴氏距离度量样本语义分布间的差异衡量样本间语义相似度,以提升对样本语义复杂性的建模能力和对样本间局部相似性的表达能力.在Wikipedia和Pascal Sentence数据集上与9种现有方法进行对比的实验结果表明,所提方法优于所有对比方法.针对Wikipedia数据集,所提方法在图检文和文检图任务上的平均mAP比对比方法提升了15.0个百分点,针对Pascal Sentence数据集提升了13.6个百分点. 展开更多
关键词 跨模态检索 概率 变分信息瓶颈 特征表示
在线阅读 下载PDF
利用层级交互注意力的文本摘要方法
3
作者 黄于欣 余正涛 +2 位作者 相艳 高盛祥 郭军军 《计算机科学与探索》 CSCD 北大核心 2020年第10期1681-1692,共12页
基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码... 基于注意力机制的编解码模型在文本摘要、机器翻译等序列到序列任务上得到了广泛的应用。在深度学习框架中,深层神经网络能够提取输入数据不同的特征表示,因此传统编解码模型中通常堆叠多层解码器来提高模型性能。然而现有的模型在解码时仅利用编码器最后一层信息,而忽略编码器其余层的特征。鉴于此,提出一种基于多层循环神经网络和层级交互注意力机制的摘要生成模型,通过层级交互注意力提取编码器不同层次的特征信息来指导摘要的生成。为了处理因引入不同层次特征而带来的信息冗余问题,引入变分信息瓶颈压缩数据噪声。最后在Gigaword和DUC2004摘要数据集上进行实验,结果表明所提方法能够获得最佳性能。 展开更多
关键词 文本摘要 编解码模型 层级交互注意力机制 变分信息瓶颈
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部