基于深度神经网络模型的中文分词方案 被引量：11

1

作者 许峰 张雪芬 忻展红 《哈尔滨工程大学学报》 EI CAS CSCD 北大核心 2019年第9期1662-1666,共5页

针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案。该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词。为了提升分... 针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案。该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词。为了提升分词性能,进一步提出了一种基于词向量的修正方法,对采用上述模型的分词结果进行修正。对典型微博语料数据集的实验结果表明,提出基于模型的分词性能相对于传统的分词软件的分词性能有了较大提升。采用提出的词向量修正方法修正后的分词准确率和F值略优于未修正的分词准确率和F值,从而验证了论文提出的分词方案的有效性。 展开更多

关键词 中文分词 长短期记忆网络 编码-解码模型 词向量 准确率 F值

在线阅读 下载PDF 职称材料

基于序列到序列模型的生成式文本摘要研究综述 被引量：16

2

作者 石磊 阮选敏 +1 位作者 魏瑞斌 成颖 《情报学报》 CSSCI CSCD 北大核心 2019年第10期1102-1116,共15页

相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综... 相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综述了编码、解码、训练等方面的研究工作,并对这些工作进行了比较和讨论,在此基础上总结出该领域未来研究的若干技术路线和发展方向。 展开更多

关键词 生成式摘要 序列到序列模型 编码器-解码器模型 注意力机制 神经网络

在线阅读 下载PDF 职称材料

基于重解码的神经机器翻译方法研究 被引量：8

3

作者 宗勤勤 李茂西 《中文信息学报》 CSCD 北大核心 2021年第6期39-46,共8页

基于Transformer的序列转换模型是当前性能最优的机器翻译模型之一。该模型在生成机器译文时,通常从左到右逐个生成目标词,这使得当前位置词的生成不能利用译文中该词之后未生成词的信息,导致机器译文解码不充分从而降低译文质量。为了... 基于Transformer的序列转换模型是当前性能最优的机器翻译模型之一。该模型在生成机器译文时,通常从左到右逐个生成目标词,这使得当前位置词的生成不能利用译文中该词之后未生成词的信息,导致机器译文解码不充分从而降低译文质量。为了缓解上述问题,该文提出了基于重解码的神经机器翻译模型,该模型将已生成的机器译文作为目标语言近似上下文环境,对译文中每个词依次进行重解码,重解码时Transformer解码器中遮挡多头注意力仅遮挡已生成译文中的当前位置词,因此,重生成的每个词都能充分利用目标语言的上下文信息。在多个WMT机器翻译评测任务测试集上的实验结果表明:使用基于重解码的神经机器翻译方法显著提高了机器译文质量。 展开更多

关键词 神经机器翻译 编码器—解码器模型 重解码 遮挡多头注意力 TRANSFORMER

在线阅读 下载PDF 职称材料

基于结构感知双编码器的代码注释自动生成 被引量：10

4

作者 徐少峰 潘文韬 +1 位作者 熊赟 朱扬勇 《计算机工程》 CAS CSCD 北大核心 2020年第2期304-308,314,共6页

在软件开发过程中,性能良好的代码注释工具能够提高开发效率并降低维护成本。部分研究者将代码注释自动生成看作将源代码翻译成自然语言注释的翻译任务,但仅考虑源代码的序列信息而忽略了代码内部的结构特性。为此,在常见端到端翻译模... 在软件开发过程中,性能良好的代码注释工具能够提高开发效率并降低维护成本。部分研究者将代码注释自动生成看作将源代码翻译成自然语言注释的翻译任务,但仅考虑源代码的序列信息而忽略了代码内部的结构特性。为此,在常见端到端翻译模型的基础上,利用代码抽象语法树将源代码的结构信息嵌入到编码器解码器翻译模型中,提出一种基于结构感知的双编码器解码器模型,该模型综合考虑源代码的序列信息与代码内部的结构特性。在真实数据集上的实验结果表明,相比PBMT、Seq2seq模型,该模型的BLEU得分较高,且生成的注释更准确和易读。 展开更多

关键词 代码注释生成 抽象语法树 双编码器解码器模型 卷积神经网络 循环神经网络

在线阅读 下载PDF 职称材料

融合序列语法知识的卷积-自注意力生成式摘要方法 被引量：2

5

作者 罗森林 王睿怡 +2 位作者 吴倩 潘丽敏 吴舟婷 《北京理工大学学报》 EI CAS CSCD 北大核心 2021年第1期93-101,共9页

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识... 针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题,循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题,提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树,将语法知识序列化并嵌入到编码器中,使编码时能充分利用语法信息;使用卷积-自注意力模型替换循环神经网络进行编码,更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验,结果表明提出的方法优于当前先进方法,生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快. 展开更多

关键词 生成式摘要 编码-解码模型 语法分析 卷积-自注意力模型 注意力机制

在线阅读 下载PDF 职称材料

基于场景表示中对象特征语法分析的视频描述 被引量：1

6

作者 付燕 王咪咪 叶鸥 《计算机工程与设计》 北大核心 2023年第2期488-493,共6页

为解决基于编码器-解码器的视频描述方法中存在忽略特征语法分析,造成描述语句语法结构不清晰的问题,提出一种基于场景表示中对象特征语法分析的视频描述方法。编码阶段将视频的2D、C3D特征、对象特征和自注意力机制相结合,构建视觉场... 为解决基于编码器-解码器的视频描述方法中存在忽略特征语法分析,造成描述语句语法结构不清晰的问题,提出一种基于场景表示中对象特征语法分析的视频描述方法。编码阶段将视频的2D、C3D特征、对象特征和自注意力机制相结合,构建视觉场景表示模型,描述视觉特征间的依赖关系;构建视觉对象特征语法分析模型,分析对象特征在描述语句中的语法成分;解码阶段结合语法分析结果和LSTM网络模型,输出视频描述语句。所提方法在MSVD和MSR-VTT数据集进行实验,结果表明,该方法在不同评价指标方面性能较好,视频描述语句的语法结构清晰。 展开更多

关键词 视频描述 编码器-解码器模型 特征提取 自注意力机制 对象特征 视觉场景表示 语法分析

在线阅读 下载PDF 职称材料

基于QE的机器翻译重排序方法研究 被引量：12

7

作者 翟煜锦 李培芸 +4 位作者 项青宇 李茂西 裘白莲 钟茂生 王明文 《江西师范大学学报（自然科学版）》 CAS 北大核心 2020年第1期46-50,88,共6页

该文提出了一种融合BERT语境向量的多模型集成的翻译质量估计方法,以及基于译文质量估计的多候选译文重排序方法,实验结果表明,这2种方法均取得了较好的实验效果.

关键词 机器翻译 机器翻译质量估计 重排序 编码器-解码器模型 卷积神经网络

在线阅读 下载PDF 职称材料

基于子词的句子级别神经机器翻译的译文质量估计方法 被引量：14

8

作者 李培芸 翟煜锦 +4 位作者 项青宇 李茂西 裘白莲 罗文兵 王明文 《厦门大学学报（自然科学版）》 CAS CSCD 北大核心 2020年第2期159-166,共8页

目前性能最优的译文质量估计系统使用神经机器翻译中的编码器-解码器模型作为特征提取器.该方法由于限制词表大小易导致数据稀疏问题,从而使得较多的未登陆词不能被正确评价.为了缓解上述问题,在详细分析不同子词切分方法的特点后,提出... 目前性能最优的译文质量估计系统使用神经机器翻译中的编码器-解码器模型作为特征提取器.该方法由于限制词表大小易导致数据稀疏问题,从而使得较多的未登陆词不能被正确评价.为了缓解上述问题,在详细分析不同子词切分方法的特点后,提出了基于字节对编码(BPE)子词切分和基于一元文法语言模型子词切分的神经译文质量估计方法,并将两者的译文质量估计的得分与基于词语切分的神经译文质量估计得分融合后进行译文质量估计.在WMT18句子级别译文质量估计子任务数据集上的实验结果表明:融合BPE子词切分、一元文法语言模型子词切分和词语切分的神经译文质量估计方法的性能在多个评测子任务上超过了WMT18给出的最好参与系统,深入的实验分析进一步揭示了融合不同粒度的句子切分方法提高了译文质量估计的健壮性. 展开更多

关键词 质量估计 神经机器翻译 子词 编码器-解码器模型 循环神经网络 联合神经网络

在线阅读 下载PDF 职称材料

基于Transformer的汉字到盲文端到端自动转换 被引量：1

9

作者 蒋琪 苏伟 +3 位作者 谢莹 周弘安平 张久文 蔡川 《计算机科学》 CSCD 北大核心 2021年第S02期136-141,共6页

汉字到盲文自动转换是改善我国1700万视障人群生活学习和贯彻落实国家信息无障碍建设的重要问题。现有汉盲转换方法均采用多步转换方法,先对汉字文本进行盲文分词连写,再对汉字进行标调,最后结合分词和标调信息合成盲文文本。该文提出... 汉字到盲文自动转换是改善我国1700万视障人群生活学习和贯彻落实国家信息无障碍建设的重要问题。现有汉盲转换方法均采用多步转换方法,先对汉字文本进行盲文分词连写,再对汉字进行标调,最后结合分词和标调信息合成盲文文本。该文提出一种基于编码器-解码器模型Transformer的端到端汉盲转换方法,利用汉字-盲文对照语料库训练Transformer模型。基于《人民日报》六个月约1200万字中文语料,该文构建了国家通用盲文、现行盲文、双拼盲文三种对照汉盲语料库。实验结果表明,该文提出的方法可将汉字一步转换为盲文,并在国家通用盲文、现行盲文、双拼盲文分别有80.25%,79.08%和79.29%的BLEU值。相比现有汉盲转换方法,该方法所需语料库的建设难度较小,且工程复杂度较低。 展开更多

关键词 汉盲转换 端到端深度学习 编码器-解码器模型 TRANSFORMER

在线阅读 下载PDF 职称材料

利用指数损失因子提高长短期记忆网络轨迹预测精度的方法 被引量：1

10

作者 张彤 王志文 +1 位作者 卢延荣 孙洪涛 《兰州理工大学学报》 CAS 北大核心 2023年第5期86-92,共7页

长短期记忆(LSTM)网络在车辆轨迹预测任务中取得了一定的成效.然而,LSTM网络预测时会引入累积误差,导致轨迹预测的精度随预测时间逐渐降低.如何减小LSTM网络在轨迹预测过程中的累积误差是一个关键性问题.为解决此问题,使用随预测时间增... 长短期记忆(LSTM)网络在车辆轨迹预测任务中取得了一定的成效.然而,LSTM网络预测时会引入累积误差,导致轨迹预测的精度随预测时间逐渐降低.如何减小LSTM网络在轨迹预测过程中的累积误差是一个关键性问题.为解决此问题,使用随预测时间增长的指数函数对平滑的L1损失函数进行加权来降低累积误差,使模型能更加准确地预测出车辆的未来轨迹.为验证此方法的有效性,以长短期记忆网络编码器解码器模型为基础,在美国交通部下一代仿真计划(NGSIM)采集的US-101和I-80数据集上进行验证.结果表明,与近年来的深度学习方法相比,本文提出的轨迹预测方法0.2 s时刻平均误差从0.3320 m降低到0.1032 m,且5 s时刻平均误差由原来的7.7168 m降为6.6243 m,总体上比原来降低了14.16%,有效减小了累积误差. 展开更多

关键词 自动驾驶 轨迹预测 LSTM 编码器-解码模型 指数加权的损失函数

在线阅读 下载PDF 职称材料

神经问题生成前沿综述 被引量：2

11

作者 邱嘉作 熊德意 《计算机科学》 CSCD 北大核心 2021年第6期159-167,共9页

问题生成是指机器主动对一段文本进行提问,生成一个自然语言的问题。神经问题生成则是完全采用端到端的训练方式,使用神经网络完成文档和答案到问题的转换,是自然语言处理中一个新兴而又重要的研究方向。文中首先对神经问题生成进行了... 问题生成是指机器主动对一段文本进行提问,生成一个自然语言的问题。神经问题生成则是完全采用端到端的训练方式,使用神经网络完成文档和答案到问题的转换,是自然语言处理中一个新兴而又重要的研究方向。文中首先对神经问题生成进行了简单介绍,包括基本概念、主流框架和评价方法。接着介绍了该研究方向的关键问题,包括输入建模、长文本处理、多任务学习、机器学习方法的应用、其他研究问题和改进点。最后,介绍了问题生成和问答系统的关系,以及问题生成的未来研究方向。 展开更多

关键词 神经问题生成 编码器-解码器模型 机器阅读理解

在线阅读 下载PDF 职称材料

基于注意力机制的滚动轴承剩余使用寿命预测方法 被引量：7

12

作者 卢瑾 张永平 《机电工程》 CAS 北大核心 2023年第4期516-521,551,共7页

现有的轴承振动信号特征的提取方法过分依赖于专家的经验,同时在轴承的寿命预测过程中,存在因序列过长而导致的记忆力退化等问题,为此,结合卷积神经网络-注意力机制网络(CNN-attention)和基于注意力机制的Encoder-Decoder方法,提出了一... 现有的轴承振动信号特征的提取方法过分依赖于专家的经验,同时在轴承的寿命预测过程中,存在因序列过长而导致的记忆力退化等问题,为此,结合卷积神经网络-注意力机制网络(CNN-attention)和基于注意力机制的Encoder-Decoder方法,提出了一种滚动轴承剩余使用寿命(RUL)的预测模型(方法)。首先,利用快速傅里叶变换(FFT)方法,将滚动轴承的初始振动信号转换成频域幅值信号;然后,设计了一种基于注意力机制的模型:其中,利用CNN-attention进行了退化特征提取,利用基于注意力机制的Encoder-Decoder网络进行了RUL预测,并进一步在远距离信号传输中解决了循环神经网络记忆衰退的问题;最后,为了验证特征提取模型以及寿命预测模型的有效性,采用PHM 2012轴承退化数据集,通过轴承加速退化PRONOSTIA实验平台进行了实验,并将其所得结果与未采用注意力机制模型的预测结果以及其他文献方法所得结果进行了对比。实验结果表明:与其他方法相比,基于注意力机制模型的方法平均绝对误差分别降低了29.41%、32.00%、29.56%、32.34%,平均得分分别提高了0.39%、0.98%、0.82%、15.46%。研究结果表明:在轴承RUL预测方面,基于注意力机制的轴承剩余使用寿命预测模型(方法)是有效的。 展开更多

关键词 剩余使用寿命 卷积神经网络-注意力机制网络 编码器-解码器模型 退化特征提取 滚动轴承寿命预测模型 记忆力退化

在线阅读 下载PDF 职称材料