-
题名利用单语数据改进神经机器翻译压缩模型的翻译质量
被引量：11
- 1
-
-
作者
李响
刘洋
陈伟
刘群
-
机构
中国科学院计算技术研究所智能信息处理重点实验室
中国科学院大学
清华大学计算机科学与技术系
北京搜狗科技发展有限公司语音交互技术中心
华为诺亚方舟实验室
-
出处
《中文信息学报》
CSCD
北大核心
2019年第7期46-55,共10页
-
基金
国家自然科学基金(61876174,61662077)
-
文摘
该文提出利用一个大型且精度高的神经机器翻译模型(教师模型)从单语数据中提取隐性双语知识,从而改进小型且精度低的神经机器翻译模型(学生模型)的翻译质量。该文首先提出了'伪双语数据'的教学方法,利用教师模型翻译单语数据获得的合成双语数据改进学生模型,然后提出了'负对数似然—知识蒸馏联合优化'教学方法,除了利用合成双语数据,还利用教师模型获得的目标语言词语概率分布作为知识,从而在知识蒸馏框架下提高学生模型的翻译质量。实验证明,在中英和德英翻译任务上,使用该方法训练的学生模型不仅在领域内测试集上显著超过了基线学生模型,而且在领域外测试集上的泛化性能也得到了提高。
-
关键词
神经机器翻译
知识蒸馏
单语数据
-
Keywords
neural machine translation
knowledge distillation
monolingual data
-
分类号
TP391.2
[自动化与计算机技术—计算机应用技术]
-
-
题名基于用户回答顺序的社区问答答案质量预测研究
被引量：6
- 2
-
-
作者
徐安滢
吉宗诚
王斌
-
机构
中国科学院计算技术研究所
华为诺亚方舟实验室
中国科学院信息工程研究所
-
出处
《中文信息学报》
CSCD
北大核心
2017年第2期132-138,共7页
-
文摘
近年来,随着互联网的普及和知识爆炸性的增长,社区问答网站积累了大量的用户和内容,同时也产生了大量的低质量文本,极大地影响了用户检索满意答案的效率,因此如何提升答案质量预测的性能十分重要。目前,社区问答答案质量预测方面的研究大都是使用点方式(pointwise)来实现分类模型,但由于问题的难度不同,对答案的要求也有所差异,使用点方式会忽略掉部分答案的特点,所以该文使用点对方式(pairwise)来预测答案质量。另外,已有的研究工作表明,社区问答中同一问题下的答案数量特征对答案质量预测没有效果,甚至有冗余作用。对于时间差也有相同的结论,即不能提升预测性能。该文提出了一种将上述两者结合在一起的新特征,实验结果表明,该特征能显著提高社区问答答案质量预测的性能。
-
关键词
答案质量预测
排序学习
社区问答
回答顺序
-
Keywords
answer quality prediction
larning to rank
community question answering
answering order
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于生成对抗网络的模仿学习综述
被引量：24
- 3
-
-
作者
林嘉豪
章宗长
姜冲
郝建业
-
机构
苏州大学计算机科学与技术学院
南京大学计算机软件新技术国家重点实验室
天津大学智能与计算学部
华为诺亚方舟实验室
-
出处
《计算机学报》
EI
CSCD
北大核心
2020年第2期326-351,共26页
-
基金
国家自然科学基金项目(61876119,61502323)
江苏省自然科学基金面上项目(BK20181432)资助.
-
文摘
模仿学习研究如何从专家的决策数据中进行学习,以得到接近专家水准的决策模型.同样学习如何决策的强化学习往往只根据环境的评价式反馈进行学习,与之相比,模仿学习能从决策数据中获得更为直接的反馈.它可以分为行为克隆、基于逆向强化学习的模仿学习两类方法.基于逆向强化学习的模仿学习把模仿学习的过程分解成逆向强化学习和强化学习两个子过程,并反复迭代.逆向强化学习用于推导符合专家决策数据的奖赏函数,而强化学习基于该奖赏函数来学习策略.基于生成对抗网络的模仿学习方法从基于逆向强化学习的模仿学习发展而来,其中最早出现且最具代表性的是生成对抗模仿学习方法(Generative Adversarial Imitation Learning,简称GAIL).生成对抗网络由两个相对抗的神经网络构成,分别为判别器和生成器.GAIL的特点是用生成对抗网络框架求解模仿学习问题,其中,判别器的训练过程可类比奖赏函数的学习过程,生成器的训练过程可类比策略的学习过程.与传统模仿学习方法相比,GAIL具有更好的鲁棒性、表征能力和计算效率.因此,它能够处理复杂的大规模问题,并可拓展到实际应用中.然而,GAIL存在着模态崩塌、环境交互样本利用效率低等问题.最近,新的研究工作利用生成对抗网络技术和强化学习技术等分别对这些问题进行改进,并在观察机制、多智能体系统等方面对GAIL进行了拓展.本文先介绍了GAIL的主要思想及其优缺点,然后对GAIL的改进算法进行了归类、分析和对比,最后总结全文并探讨了可能的未来趋势.
-
关键词
模仿学习
基于生成对抗网络的模仿学习
生成对抗模仿学习
模态崩塌
样本利用效率
-
Keywords
imitation learning
imitation learning based on generative adversarial nets
generative adversarial imitation learning
mode collapse
sample efficiency
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名带有故障性质预测的自动测试向量求解模型
- 4
-
-
作者
贺丽媛
黄俊华
陶继平
-
机构
厦门大学自动化系
华为诺亚方舟实验室
-
出处
《电子学报》
EI
CAS
CSCD
北大核心
2023年第12期3540-3548,共9页
-
基金
福建省自然科学基金(No.2020J01053)。
-
文摘
基于布尔满足模型的自动测试向量生成是芯片故障检测的关键环节,相应布尔问题的求解已然成为整个故障检测过程的效率瓶颈.本文研究了主流自动测试向量求解框架中不同算子对求解效率的影响,在保证测试向量求解流程完备性的同时引入基于深度学习的故障分析机制,并将分析结果用于算子的自动选择和初始求解状态的确定,旨在优化整体求解进程.针对因真实电路故障数据不足导致模型学习效果欠佳的问题,本文利用生成对抗网络实现数据增广,结合多层图卷积神经网络促进高效表征学习,从而提高故障性质的预测精度.在若干真实电路上的实验结果表明,本文所提出的新框架与原有框架相比,平均求解效率提升近20%.
-
关键词
自动测试向量生成
图神经网络
生成对抗网络
数据增广
算子选择
-
Keywords
automation test pattern generation
graph neural network
generative adversarial network
data augmentation
operator selection
-
分类号
TN407
[电子电信—微电子学与固体电子学]
TP183
[自动化与计算机技术—控制理论与控制工程]
-
-
题名用于二值神经网络的加宽和收缩机制
- 5
-
-
作者
韩凯
刘传建
吴恩华
-
机构
计算机科学国家重点实验室(中国科学院软件研究所)
-
出处
《软件学报》
2025年第10期4880-4892,共13页
-
基金
国家自然科学基金(62332015)。
-
文摘
二值神经网络(binary neural network,BNN)因其较少的计算和存储开销而对业界非常有吸引力,但其准确率仍然比全精度参数的网络差.大多数现有方法旨在通过利用更有效的训练技术来提高二值神经网络的性能.然而,通过实验发现量化后特征的表示能力远弱于全精度的特征.因此,提出一种加宽和收缩机制来构建高精度而紧凑的二值神经网络.首先,通过将原始全精度网络中的特征投影到高维量化特征来解决量化特征表示能力弱的问题.同时,冗余的量化特征将被消除,以避免某些特征维度的过度增长.进而建立一个紧凑但具有足够表示能力的量化神经网络.基准数据集上的实验结果表明,该方法能够以更少的参数量和计算量建立高精度二值神经网络,其准确率与全精度基线模型几乎相同,例如,二值量化的ResNet-18在ImageNet数据集上达到了70%的准确率.
-
关键词
神经网络
模型量化
图像分类
目标检测
-
Keywords
neural network
model quantization
image classification
object detection
-
分类号
TP301
[自动化与计算机技术]
-
