期刊文献+
共找到50篇文章
< 1 2 3 >
每页显示 20 50 100
基于对抗性的权重注意力机制序列到序列模型的锂离子电池SOC估计方法 被引量:1
1
作者 陈治铭 刘建华 +1 位作者 柯添赐 陈可纬 《电工技术学报》 EI CSCD 北大核心 2024年第19期6244-6256,共13页
锂电池荷电状态(SOC)的准确估算是新能源技术发展中的一项关键技术,由于难以直接获取SOC准确数值,而面对此长序列预测问题,采用传统深度学习方法,其估算效果不佳。对此,该文提出一种对抗性的权重注意力序列到序列(AWAS)模型以估算SOC,... 锂电池荷电状态(SOC)的准确估算是新能源技术发展中的一项关键技术,由于难以直接获取SOC准确数值,而面对此长序列预测问题,采用传统深度学习方法,其估算效果不佳。对此,该文提出一种对抗性的权重注意力序列到序列(AWAS)模型以估算SOC,其中权重注意力机制通过引入额外的线性变换增强了注意力机制提取长序列依赖的能力。该模型由门控循环单元(GRU)作为编码器和解码器的基本构建模块。首先利用编码器提取特征间的相关信息;其次将包含特征信息的隐藏向量交由权重注意力处理,以深化特征间的关联性学习;再次由GRU进行解码;最后与生成对抗网络(GAN)中的鉴别器联合,提高模型估算能力。通过多步SOC估算任务的测试实验,该文提出的模型估算SOC的方均根误差及平均绝对百分比误差分别达到0.1695%和0.2096%;同时,在不同数据集的单步估算任务测试中,平均绝对误差和方均根误差达到0.1412%和0.1094%;相比稀疏化Informer模型在平均绝对误差评估指标上降低了45.7%。 展开更多
关键词 锂电池荷电状态 序列到序列模型 对抗生成网络 稀疏化Informer 注意力
在线阅读 下载PDF
基于序列到序列模型的生成式文本摘要研究综述 被引量:16
2
作者 石磊 阮选敏 +1 位作者 魏瑞斌 成颖 《情报学报》 CSSCI CSCD 北大核心 2019年第10期1102-1116,共15页
相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综... 相较于早期的生成式摘要方法,基于序列到序列模型的文本摘要方法更接近人工摘要的生成过程,生成摘要的质量也有明显提高,越来越受到学界的关注。本文梳理了近年来基于序列到序列模型的生成式文本摘要的相关研究,根据模型的结构,分别综述了编码、解码、训练等方面的研究工作,并对这些工作进行了比较和讨论,在此基础上总结出该领域未来研究的若干技术路线和发展方向。 展开更多
关键词 生成式摘要 序列到序列模型 编码器-解码器模型 注意力机制 神经网络
在线阅读 下载PDF
基于序列到序列模型的代码片段推荐 被引量:4
3
作者 闫鑫 周宇 黄志球 《计算机科学与探索》 CSCD 北大核心 2020年第5期731-739,共9页
在软件开发过程中,开发者经常会以复用代码的方式,提高软件开发效率。已有的研究通常采用传统的信息检索技术来实现代码推荐。这些方法存在自然语言查询的高层级的意图与代码的低层级的实现细节不匹配的问题。提出了一种基于序列到序列... 在软件开发过程中,开发者经常会以复用代码的方式,提高软件开发效率。已有的研究通常采用传统的信息检索技术来实现代码推荐。这些方法存在自然语言查询的高层级的意图与代码的低层级的实现细节不匹配的问题。提出了一种基于序列到序列模型的代码片段推荐方法DeepCR。该方法结合程序静态分析技术与序列到序列模型,训练自然语言查询生成模型,为代码片段生成查询,通过计算生成的查询和开发者输入的自然语言查询的相似度得分来实现代码片段推荐。所构建的代码库的数据来源于Stack Overflow问答网站,确保了数据的真实性。通过计算代码片段推荐结果的平均倒数排名(MRR)和Hit@K来验证方法的有效性。实验结果表明,DeepCR优于现有研究工作,能够有效提高代码片段推荐效果。 展开更多
关键词 程序静态分析 序列到序列模型 代码片段推荐
在线阅读 下载PDF
基于序列到序列模型的无监督文本简化方法 被引量:1
4
作者 李天宇 李云 钱镇宇 《计算机应用研究》 CSCD 北大核心 2021年第1期93-96,100,共5页
训练基于序列到序列(seq2seq)的文本简化模型需要大规模平行语料库,但是规模较大且标注质量较好的语料却难以获得。为此,提出一种无监督文本简化方法,使模型的学习仅需要无标注的复杂句和简单句语料。首先,利用去噪自编码器(denoising a... 训练基于序列到序列(seq2seq)的文本简化模型需要大规模平行语料库,但是规模较大且标注质量较好的语料却难以获得。为此,提出一种无监督文本简化方法,使模型的学习仅需要无标注的复杂句和简单句语料。首先,利用去噪自编码器(denoising autoencoder)分别从简单句语料和复杂句语料中学习,获取简单句的自编码器和复杂句的自编码器;然后,组合两个自编码器形成初始的文本简化模型和文本复杂化模型;最后,利用回译策略(back-translation)将无监督文本简化问题转换为监督问题,不断迭代优化文本简化模型。通过在标准数据集上的实验验证,该方法在通用指标BLEU和SARI上均优于现有无监督模型,同时在词汇级别和句法级别均有简化效果。 展开更多
关键词 文本简化 无监督 序列到序列模型 去噪自编码器
在线阅读 下载PDF
基于改进Seq2Seq的短时AIS轨迹序列预测模型 被引量:20
5
作者 游兰 韩雪薇 +3 位作者 何正伟 肖丝雨 何渡 潘筱萌 《计算机科学》 CSCD 北大核心 2020年第9期169-174,共6页
采用深度学习进行船舶轨迹序列预测对于智能航运具有重要意义。船舶自动识别系统(Automatic Identification System,AIS)蕴藏着大量船舶轨迹特征,基于AIS数据预测船舶轨迹是近年智能航运研究的热点之一。文中提出了一种基于改进Seq2Seq... 采用深度学习进行船舶轨迹序列预测对于智能航运具有重要意义。船舶自动识别系统(Automatic Identification System,AIS)蕴藏着大量船舶轨迹特征,基于AIS数据预测船舶轨迹是近年智能航运研究的热点之一。文中提出了一种基于改进Seq2Seq的短时AIS轨迹序列预测模型,该模型使用门控循环单元网络将历史时空序列编码为一个上下文向量,用以保留轨迹空间点间的时序关系,同时缓解梯度下降的问题。通过使用门控循环单元网络作为解码器来预测船舶轨迹的时空序列。实验采用了大规模真实船舶AIS数据,选取两类典型河段(重庆弯曲河段和武汉顺直河段)为实验区域,以评估和验证模型的有效性和适用性。实验证明,该模型能够有效提高短时轨迹序列预测的准确性和效率,为智能航船碰撞预警提供了一种有效可行的方法。 展开更多
关键词 轨迹预测 序列到序列模型 循环神经网络 船舶自动识别系统 时空数据挖掘
在线阅读 下载PDF
基于知识迁移和双向异步序列的对话生成模型
6
作者 王勇超 曹钰 +1 位作者 杨玉辉 许端清 《浙江大学学报(工学版)》 EI CAS CSCD 北大核心 2022年第3期520-530,共11页
针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练... 针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练的知识库问答模型获取输入语句的知识表达、候选知识表达以及关键字;搭建2个编码器-解码器结构,通过双向异步解码将关键字显式地生成在对话回复中;编、解码阶段均引入预训练模型的知识理解和知识表达能力,提升对话生成对知识信息的捕捉能力.提出重复检测惩罚机制,通过赋予惩罚权重的方式减少对话生成中的重复词汇.实验结果表明,所提模型在自动评估和人工评价指标上均优于已有的对话生成方法. 展开更多
关键词 对话生成 知识实体 知识库问答 双向异步生成 序列到序列模型
在线阅读 下载PDF
基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法
7
作者 孙哲 禹可 吴晓非 《计算机应用研究》 CSCD 北大核心 2023年第8期2292-2297,共6页
中文拼写纠错是一项检测和纠正文本中拼写错误的任务。大多数中文拼写错误是在语义、读音或字形上相似的字符被误用,因此常见的做法是对不同模态提取特征进行建模。但将不同特征直接融合或是利用固定权重进行求和,使得不同模态信息之间... 中文拼写纠错是一项检测和纠正文本中拼写错误的任务。大多数中文拼写错误是在语义、读音或字形上相似的字符被误用,因此常见的做法是对不同模态提取特征进行建模。但将不同特征直接融合或是利用固定权重进行求和,使得不同模态信息之间的重要性关系被忽略以及模型在识别错误时会出现偏差,阻止了模型以有效的方式学习。为此,提出了一种新的模型以改善这个问题,称为基于文本序列错误概率和中文拼写错误概率融合的汉语纠错算法。该方法使用文本序列错误概率作为动态权重、中文常见拼写错误概率作为固定权重,对语义、读音和字形信息进行了高效融合。模型能够合理控制不同模态信息流入混合模态表示,更加针对错误发生处进行学习。在SIGHAN基准上进行的实验表明,所提模型的各项评估分数在不同数据集上均有提升,验证了该算法的可行性。 展开更多
关键词 中文拼写纠错 错误概率 预训练 信息融合 序列到序列模型
在线阅读 下载PDF
Seq2Seq模型的短期水位预测 被引量:15
8
作者 刘艳 张婷 +2 位作者 康爱卿 李建柱 雷晓辉 《水利水电科技进展》 CSCD 北大核心 2022年第3期57-63,共7页
为有效预测未来一定时间内的连续水位,提出了基于序列到序列(Seq2Seq)的短期水位预测模型,并使用一个长短期记忆神经网络(LSTM)作为编码层,将历史水位序列编码为一个上下文向量,使用另一个LSTM作为解码层,将上下文向量解码来预测目标水... 为有效预测未来一定时间内的连续水位,提出了基于序列到序列(Seq2Seq)的短期水位预测模型,并使用一个长短期记忆神经网络(LSTM)作为编码层,将历史水位序列编码为一个上下文向量,使用另一个LSTM作为解码层,将上下文向量解码来预测目标水位序列。以流溪河为研究对象,针对不同预测长度分别建立水位预测模型,并与LSTM模型和人工神经网络(ANN)模型进行了对比。结果表明:Seq2Seq模型对连续6 h、12 h和24 h水位预测的纳什效率系数最高分别为0.93、0.90和0.85;当预测长度为6 h时,LSTM和Seq2Seq模型预测结果相似,ANN模型精度较低;当预测长度为12 h和24 h时,Seq2Seq模型相比LSTM模型和ANN模型预测效果更好,收敛速度更快。 展开更多
关键词 水位预测 序列到序列模型 长短期记忆神经网络 人工神经网络 深度学习
在线阅读 下载PDF
基于注意力机制的泊位占有率预测模型研究 被引量:5
9
作者 王竹荣 薛伟 +3 位作者 牛亚邦 崔颖安 孙钦东 黑新宏 《通信学报》 EI CSCD 北大核心 2020年第12期182-192,共11页
为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学... 为解决泊位占有率的预测精度随步长增加而下降的问题,提出了一种基于注意力机制的泊位占有率预测模型。通过卷积神经网络获得多变量的时间模式信息作为模型的注意力机制。通过对模型训练、学习特征信息,并对相关性高的序列分配较大的学习权重,来实现解码器输出高度相关的有用特征预测目标序列。应用多个停车场数据集对模型进行测试,测试结果及对比分析表明,所提模型在步长达到36时对泊位占有率的预测数据能较好地估计真实值,预测精度和稳定性相比LSTM均有提高。 展开更多
关键词 时间序列预测 泊位占有率预测 注意力机制 序列到序列模型
在线阅读 下载PDF
基于深度注意力模型的个体出行多步预测研究
10
作者 翁小雄 任杰 +1 位作者 覃镇林 罗瑞发 《重庆交通大学学报(自然科学版)》 CAS CSCD 北大核心 2022年第10期35-40,53,共7页
长期以来,对个体的出行预测一直是交通领域的研究重点。针对当前个体出行研究的局限性,提出了使用带注意力机制的序列到序列模型对个体出行进行多步预测,首先通过词嵌入的方法将个体出行特征的嵌入向量进行融合,然后基于带注意力机制的... 长期以来,对个体的出行预测一直是交通领域的研究重点。针对当前个体出行研究的局限性,提出了使用带注意力机制的序列到序列模型对个体出行进行多步预测,首先通过词嵌入的方法将个体出行特征的嵌入向量进行融合,然后基于带注意力机制的序列到序列模型设计了3种个体出行多步预测模型:整体输出式、步进输出式、多模型组合式。并将提出的模型与传统模型进行对比,最后探究了不同预测步长对实验结果带来的影响,从而验证了带注意力机制的序列到序列模型在多步预测中的适用性和优越性。 展开更多
关键词 交通运输工程 注意力机制 序列到序列模型 多步预测
在线阅读 下载PDF
基于多覆盖模型的神经机器翻译 被引量:10
11
作者 刘俊鹏 黄锴宇 +2 位作者 李玖一 宋鼎新 黄德根 《软件学报》 EI CSCD 北大核心 2022年第3期1141-1152,共12页
覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的... 覆盖模型可以缓解神经机器翻译中的过度翻译和漏翻译问题.现有方法通常依靠覆盖向量或覆盖分数等单一方式存储覆盖信息,而未考虑不同覆盖信息之间的关联性,因此对信息的利用并不完善.针对该问题,基于翻译历史信息的一致性和模型之间的互补性,提出了多覆盖融合模型.首先定义词级覆盖分数概念;然后利用覆盖向量和覆盖分数存储的信息同时指导注意力机制,降低信息存储损失对注意力权重计算的影响.根据两种覆盖信息融合方式的不同,提出了两种多覆盖融合方法.利用序列到序列模型在中英翻译任务上进行了实验,结果表明,所提方法能够显著提升翻译性能,并改善源语言和目标语言的对齐质量.与只使用覆盖向量的模型相比,过度翻译和漏翻译问题的数量得到进一步减少. 展开更多
关键词 神经机器翻译 注意力机制 序列到序列模型 多覆盖模型 过度翻译 漏翻译
在线阅读 下载PDF
基于BART噪声器的中文语法纠错模型 被引量:10
12
作者 孙邱杰 梁景贵 李思 《计算机应用》 CSCD 北大核心 2022年第3期860-866,共7页
在中文语法纠错中,基于神经机器翻译的方法被广泛应用,该方法在训练过程中需要大量的标注数据才能保障性能,但中文语法纠错的标注数据较难获取。针对标注数据有限导致中文语法纠错系统性能不佳问题,提出一种基于BART噪声器的中文语法纠... 在中文语法纠错中,基于神经机器翻译的方法被广泛应用,该方法在训练过程中需要大量的标注数据才能保障性能,但中文语法纠错的标注数据较难获取。针对标注数据有限导致中文语法纠错系统性能不佳问题,提出一种基于BART噪声器的中文语法纠错模型——BN-CGECM。首先,为了加快模型的收敛,使用基于BERT的中文预训练语言模型对BN-CGECM的编码器参数进行初始化;其次,在训练过程中,通过BART噪声器对输入样本引入文本噪声,自动生成更多样的含噪文本用于模型训练,从而缓解标注数据有限的问题。在NLPCC 2018数据集上的实验结果表明,所提模型的F0.5值比有道开发的中文语法纠错系统(YouDao)提高7.14个百分点,比北京语言大学开发的集成中文语法纠错系统(BLCU_ensemble)提高6.48个百分点;同时,所提模型不增加额外的训练数据量,增强了原始数据的多样性,且具有更快的收敛速度。 展开更多
关键词 数据增强 中文语法纠错 文本噪声 深度学习 序列到序列模型 BART噪声器
在线阅读 下载PDF
基于语义感知的中文短文本摘要生成模型 被引量:5
13
作者 倪海清 刘丹 史梦雨 《计算机科学》 CSCD 北大核心 2020年第6期74-78,共5页
文本摘要生成技术能够从海量数据中概括出关键信息,有效解决用户信息过载的问题。目前序列到序列模型被广泛应用于英文文本摘要生成领域,而在中文文本摘要生成领域没有对该模型进行深入研究。对于传统的序列到序列模型,解码器通过注意... 文本摘要生成技术能够从海量数据中概括出关键信息,有效解决用户信息过载的问题。目前序列到序列模型被广泛应用于英文文本摘要生成领域,而在中文文本摘要生成领域没有对该模型进行深入研究。对于传统的序列到序列模型,解码器通过注意力机制将编码器输出的每一个词的隐藏状态作为原始文本完整的语义信息来生成摘要,但是编码器输出的每一个词的隐藏状态仅包含前、后词的语义信息,不包含原始文本完整的语义信息,导致生成摘要缺失原始文本的核心信息,影响生成摘要的准确性和可读性。为此,文中提出基于语义感知的中文短文本摘要生成模型SA-Seq2Seq,以结合注意力机制的序列到序列模型为基础,通过使用预训练模型BERT,在编码器中将中文短文本作为整体语义信息引入,使得每一个词包含整体语义信息;在解码器中将参考摘要作为目标语义信息计算语义不一致损失,以确保生成摘要的语义完整性。采用中文短文本摘要数据集LCSTS进行实验,结果表明,模型SA-Seq2Seq在评估标准ROUGE上的效果相对于基准模型有显著提高,其ROUGE-1,ROUGE-2和ROUGE-L评分在基于字符处理的数据集上分别提升了3.4%,7.1%和6.1%,在基于词语处理的数据集上分别提升了2.7%,5.4%和11.7%,即模型SA-Seq2Seq能够更有效地融合中文短文本的整体语义信息,挖掘其关键信息,确保生成摘要的流畅性和连贯性,可以应用于中文短文本摘要生成任务。 展开更多
关键词 中文短文本摘要 序列到序列模型 注意力机制 预训练模型 语义感知
在线阅读 下载PDF
基于自注意力与指针网络的自动摘要模型 被引量:5
14
作者 姜志祥 叶青 +1 位作者 傅晗 张帆 《计算机工程与设计》 北大核心 2021年第3期711-718,共8页
针对生成式摘要方法中的序列到序列模型存在准确率不高、词语重复、训练时间长等问题,提出一个改进的模型。引入自注意力机制替代原有循环神经网络和卷积神经网络,实现并行训练和损失函数值的快速下降与稳定,减少训练时间;引入指针网络... 针对生成式摘要方法中的序列到序列模型存在准确率不高、词语重复、训练时间长等问题,提出一个改进的模型。引入自注意力机制替代原有循环神经网络和卷积神经网络,实现并行训练和损失函数值的快速下降与稳定,减少训练时间;引入指针网络解决未登录词问题,将未登录词直接扩展到字典中,实现将未登录词从输入序列复制到生成序列中;引入输入供给方法,跟踪生成序列的信息,提高准确率。在大规模中文短文本摘要的数据集上的实验结果表明,改进后的模型获得了较高的Rouge评分,验证了其可行性。 展开更多
关键词 文本自动摘要 序列到序列模型 注意力机制 指针网络 复制机制
在线阅读 下载PDF
基于seq2seq模型的室内WLAN定位方法 被引量:3
15
作者 邢方方 惠向晖 《电子测量与仪器学报》 CSCD 北大核心 2020年第11期93-100,共8页
基于WLAN(wireless local area network)的定位在智能家居、室内导航、个性化服务等应用中扮演着重要的角色。研究了基于序列到序列seq2seq模型的室内WLAN定位方法。该方法基于在自然语言处理中广泛应用的seq2seq神经网络模型,通过样本... 基于WLAN(wireless local area network)的定位在智能家居、室内导航、个性化服务等应用中扮演着重要的角色。研究了基于序列到序列seq2seq模型的室内WLAN定位方法。该方法基于在自然语言处理中广泛应用的seq2seq神经网络模型,通过样本数据学习信号指纹空间中的时间序列和坐标空间中的时间序列的关系。经过滤波等预处理后,再进行样本增强,并设计合理的输入输出及代价函数,本方法能够实现更高精度定位。实测的数据表明,提出的方法相比于其他几种基于神经网络的定位方法,度量学习RFSM方法、去噪自编码器DAE方法、f-RNN方法,平均定位精度分别提高了23%、11%和20%。 展开更多
关键词 序列到序列模型 WLAN定位 神经网络
在线阅读 下载PDF
基于CATTSTS模型的国际原油价格预测研究 被引量:1
16
作者 吕成双 王彤 《价格月刊》 北大核心 2022年第5期8-13,共6页
国际原油价格数据具有复杂的特征变化趋势,直接使用现有模型对其预测往往效果不佳。针对此问题,提出一种分解-预测机制的预测模型。使用由噪声自适应完备总体平均经验模态分解算法对原油价格数据进行分解,将分解获取的子序列和残余趋势... 国际原油价格数据具有复杂的特征变化趋势,直接使用现有模型对其预测往往效果不佳。针对此问题,提出一种分解-预测机制的预测模型。使用由噪声自适应完备总体平均经验模态分解算法对原油价格数据进行分解,将分解获取的子序列和残余趋势序列作为训练数据;基于CNN、LSTM单元和注意力机制模块构建了附有注意力机制的序列到序列深度学习模型。对所有子序列进行训练和预测,将预测结果重构以获取最终的价格预测结果。以布伦特原油日价对模型进行性能测试,结果表明,提出模型的预测结果与真实价格数据拟合情况良好,在平方根均方误差、平均绝对误差、平均绝对百分比误差分三项指标上均达到1.2545、0.9675及1.23%,相比其余几种对比模型有着更优秀的预测性能。 展开更多
关键词 原油价格预测 CEEMDAN分解 深度学习 序列到序列模型 注意力机制
在线阅读 下载PDF
Fea2Lab:基于多标记学习的特征到标签生成模型
17
作者 于晗宇 黄晋 朱佳 《华南师范大学学报(自然科学版)》 CAS 北大核心 2020年第3期111-119,共9页
传统多标记学习方法通常只考虑和示例相关联的单个特征向量以及无差别地预测全体标签,从而忽视了与示例相似的其他示例及隐含的标签属性,造成输入空间特征信息较少、标签属性被忽略和对大标记空间预测效果差等问题.为解决以上问题,文章... 传统多标记学习方法通常只考虑和示例相关联的单个特征向量以及无差别地预测全体标签,从而忽视了与示例相似的其他示例及隐含的标签属性,造成输入空间特征信息较少、标签属性被忽略和对大标记空间预测效果差等问题.为解决以上问题,文章转化传统多标记学习任务为多标记学习的序列到序列任务,并由此提出新的多标记学习标签生成神经网络模型(Fea2Lab模型):通过交错的顺序排列示例和相似示例形成链式特征向量序列,来增加输入空间特征信息;通过挖掘标签属性来有差别地预测标签;通过在解码流程中使用全局标签信息,来缓解预测过程中出现的错误标签级联问题.在多个数据集上的实验结果和消融实验表明转化任务和Fea2Lab模型的合理性、可行性及有效性. 展开更多
关键词 多标记学习 神经网络 序列到序列模型 标签属性
在线阅读 下载PDF
基于位置感知的情感可控对话生成模型研究
18
作者 杨瑞 马志强 +1 位作者 王春喻 斯琴 《中文信息学报》 CSCD 北大核心 2022年第3期101-108,共8页
基于序列到序列的对话生成在实现情感状态转移时大多采用外部情感词嵌入的方式,编码器很难捕获解码器的情感状态,解码器被强制嵌入的外部情感词干扰,造成生成回复情感词堆叠及缺乏情感信息上下文。为解决上述问题,该文提出基于位置感知... 基于序列到序列的对话生成在实现情感状态转移时大多采用外部情感词嵌入的方式,编码器很难捕获解码器的情感状态,解码器被强制嵌入的外部情感词干扰,造成生成回复情感词堆叠及缺乏情感信息上下文。为解决上述问题,该文提出基于位置感知的情感可控对话生成模型。在编码的过程中,当前输入词向量和位置向量共同参与编码,在不影响当前输入的情况下,上文信息利用分层的编码方式增加额外编码信息。在解码的过程中,利用遮蔽语言的性能,强制模型进行内容理解和学习,编码器和解码器的联合训练能够生成符合语法的情感回复。实验结果表明,位置感知的加入进一步刻画了数据的潜在结构信息,提高了情感可控对话生成的语言质量。 展开更多
关键词 对话生成 序列到序列模型 注意力机制 位置感知
在线阅读 下载PDF
一种情感可控的古诗自动生成模型
19
作者 钟志峰 晏阳天 +2 位作者 何佳伟 夏一帆 张龑 《现代电子技术》 2023年第4期154-160,共7页
古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出... 古诗是中华民族重要的非物质文化遗产,使用计算机实现古诗的自动生成已成为一个热门的研究课题,但现有的古诗生成方法在生成诗句与主题的关联性上表现不佳且无法控制情感的表达。为解决这些问题,文中基于序列到序列(Seq2Seq)模型,提出一种通过关键字和情感分类词共同控制绝句诗生成的方法。具体实现过程分为两个阶段:首先使用TextCNN和TextRank算法分别对收集的古诗进行情感分类和关键字提取,自行构建实验数据集;其次针对古诗主题与情感表达不准确的问题,引入带注意力机制的Seq2Seq模型,在模型的编码端和译码端使用门控神经单元(GRU),通过4个关键字和情感分类词控制最终绝句诗的生成,并在生成阶段使用集束搜索代替传统的贪心搜索来增加生成古诗的多样性。对比实验结果表明,所提方法生成绝句诗的效果在自动评价和人工评价上均优于基准模型,对于内容与情感的表达更加准确和有效。 展开更多
关键词 古诗生成 序列到序列模型 注意力机制 GRU神经网络 情感控制 TextCNN算法 自然语言处理 字嵌入
在线阅读 下载PDF
融合卷积收缩门控的生成式文本摘要方法 被引量:1
20
作者 甘陈敏 唐宏 +2 位作者 杨浩澜 刘小洁 刘杰 《计算机工程》 CAS CSCD 北大核心 2024年第2期98-104,共7页
在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的... 在深度学习技术的推动下,基于编码器-解码器架构并结合注意力机制的序列到序列模型成为文本摘要研究中应用最广泛的模型之一,尤其在生成式文本摘要任务中取得显著效果。然而,现有的采用循环神经网络的模型存在并行能力不足和时效低下的局限性,无法充分概括有用信息,忽视单词与句子间的联系,易产生冗余重复或语义不相关的摘要。为此,提出一种基于Transformer和卷积收缩门控的文本摘要方法。利用BERT作为编码器,提取不同层次的文本表征得到上下文编码,采用卷积收缩门控单元调整编码权重,强化全局相关性,去除无用信息的干扰,过滤后得到最终的编码输出,并通过设计基础Transformer解码模块、共享编码器的解码模块和采用生成式预训练Transformer(GPT)的解码模块3种不同的解码器,加强编码器与解码器的关联,以此探索能生成高质量摘要的模型结构。在LCSTS和CNNDM数据集上的实验结果表明,相比主流基准模型,设计的TCSG、ES-TCSG和GPT-TCSG模型的评价分数增量均不低于1.0,验证了该方法的有效性和可行性。 展开更多
关键词 生成式文本摘要 序列到序列模型 Transformer模型 BERT编码器 卷积收缩门控单元 解码器
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部