当前基于深度学习的中文长文本摘要生成的研究存在以下问题:(1)生成模型缺少信息引导,缺乏对关键词汇和语句的关注,存在长文本跨度下关键信息丢失的问题;(2)现有中文长文本摘要模型的词表常以字为基础,并不包含中文常用词语与标点,不利...当前基于深度学习的中文长文本摘要生成的研究存在以下问题:(1)生成模型缺少信息引导,缺乏对关键词汇和语句的关注,存在长文本跨度下关键信息丢失的问题;(2)现有中文长文本摘要模型的词表常以字为基础,并不包含中文常用词语与标点,不利于提取多粒度的语义信息.针对上述问题,本文提出了融合引导注意力的中文长文本摘要生成(Chinese Long text Summarization with Guided Attention,CLSGA)方法.首先,针对中文长文本摘要生成任务,利用抽取模型灵活抽取长文本中的核心词汇和语句,构建引导文本,用以指导生成模型在编码过程中将注意力集中于更重要的信息.其次,设计中文长文本词表,将文本结构长度由字统计改变至词组统计,有利于提取更加丰富的多粒度特征,进一步引入层次位置分解编码,高效扩展长文本的位置编码,加速网络收敛.最后,以局部注意力机制为骨干,同时结合引导注意力机制,以此有效捕捉长文本跨度下的重要信息,提高摘要生成的精度.在四个不同长度的公共中文摘要数据集LCSTS(大规模中文短文本摘要数据集)、CNewSum(大规模中国新闻摘要数据集)、NLPCC2017和SFZY2020上的实验结果表明:本文方法对于长文本摘要生成具有显著优势,能够有效提高ROUGE-1、ROUGE-2、ROUGE-L值.展开更多
目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义...目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义增强文本摘要模型CBSUM-Aux(Convolution and BERT Based Summarization Model with Auxiliary Information)。首先,使用窗口大小不同的卷积神经网络模块提取原文中的词特征信息,并与输入的字嵌入进行特征融合,之后通过预训练模型对融合特征进行深度特征挖掘。然后,在解码输出阶段,将卷积之后的词特征信息作为解码辅助信息输入解码器中指导模型解码。最后,针对束搜索算法倾向于输出短句的问题对其进行优化。该文使用LCSTS和CSTSD数据集对模型进行验证,实验结果表明,该文模型在ROUGE指标上有明显提升,生成的摘要与原文语义更加贴合。展开更多
基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结...基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC(Dual Attention and Pointer-Coverage based model)模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。展开更多
现有生成式文本摘要模型缺乏对关键词信息的关注,存在输入文本中关键信息丢失问题.因此,提出了一种基于关键词语义信息增强的指针生成网络(keyword semantic information enhancement pointer-generator networks,KSIE-PGN)模型.首先,...现有生成式文本摘要模型缺乏对关键词信息的关注,存在输入文本中关键信息丢失问题.因此,提出了一种基于关键词语义信息增强的指针生成网络(keyword semantic information enhancement pointer-generator networks,KSIE-PGN)模型.首先,构建了基于DistilBERT的关键词抽取模型(keywords selection method based on BERT,KSBERT).其次,提出了基于关键词掩码的覆盖机制,在使用覆盖机制时,保留解码过程中模型对关键词的持续关注.接着,KSIE-PGN模型在解码过程融合了多种关键词信息,包括关键词语义向量和关键词上下文向量,从而解决解码器丢失输入文本关键信息这一问题.在CNN/Daily Mail数据集上的实验结果表明KSIE-PGN模型能够较好地捕捉输入文本中的关键信息.展开更多
文摘当前基于深度学习的中文长文本摘要生成的研究存在以下问题:(1)生成模型缺少信息引导,缺乏对关键词汇和语句的关注,存在长文本跨度下关键信息丢失的问题;(2)现有中文长文本摘要模型的词表常以字为基础,并不包含中文常用词语与标点,不利于提取多粒度的语义信息.针对上述问题,本文提出了融合引导注意力的中文长文本摘要生成(Chinese Long text Summarization with Guided Attention,CLSGA)方法.首先,针对中文长文本摘要生成任务,利用抽取模型灵活抽取长文本中的核心词汇和语句,构建引导文本,用以指导生成模型在编码过程中将注意力集中于更重要的信息.其次,设计中文长文本词表,将文本结构长度由字统计改变至词组统计,有利于提取更加丰富的多粒度特征,进一步引入层次位置分解编码,高效扩展长文本的位置编码,加速网络收敛.最后,以局部注意力机制为骨干,同时结合引导注意力机制,以此有效捕捉长文本跨度下的重要信息,提高摘要生成的精度.在四个不同长度的公共中文摘要数据集LCSTS(大规模中文短文本摘要数据集)、CNewSum(大规模中国新闻摘要数据集)、NLPCC2017和SFZY2020上的实验结果表明:本文方法对于长文本摘要生成具有显著优势,能够有效提高ROUGE-1、ROUGE-2、ROUGE-L值.
文摘目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义增强文本摘要模型CBSUM-Aux(Convolution and BERT Based Summarization Model with Auxiliary Information)。首先,使用窗口大小不同的卷积神经网络模块提取原文中的词特征信息,并与输入的字嵌入进行特征融合,之后通过预训练模型对融合特征进行深度特征挖掘。然后,在解码输出阶段,将卷积之后的词特征信息作为解码辅助信息输入解码器中指导模型解码。最后,针对束搜索算法倾向于输出短句的问题对其进行优化。该文使用LCSTS和CSTSD数据集对模型进行验证,实验结果表明,该文模型在ROUGE指标上有明显提升,生成的摘要与原文语义更加贴合。
文摘基于注意力机制的序列到序列模型在生成式摘要方法中得到广泛应用,并取得较好的表现。但现有模型方法生成的摘要普遍存在语义无关、句内重复和未登录词等问题。为了解决这些问题,在典型基于注意力机制的序列到序列模型基础上,提出了结合双注意力和指针覆盖机制的生成式文本摘要方法DAPC(Dual Attention and Pointer-Coverage based model)模型。组合局部注意力和卷积神经网络,提取输入文本的更高层次的语言特征;引入指针-生成网络来解决未登录词问题;使用覆盖机制解决模型生成摘要句内重复的问题。实验结果表明,模型在CNN/Daily Mail数据集中有较好的表现。
文摘现有生成式文本摘要模型缺乏对关键词信息的关注,存在输入文本中关键信息丢失问题.因此,提出了一种基于关键词语义信息增强的指针生成网络(keyword semantic information enhancement pointer-generator networks,KSIE-PGN)模型.首先,构建了基于DistilBERT的关键词抽取模型(keywords selection method based on BERT,KSBERT).其次,提出了基于关键词掩码的覆盖机制,在使用覆盖机制时,保留解码过程中模型对关键词的持续关注.接着,KSIE-PGN模型在解码过程融合了多种关键词信息,包括关键词语义向量和关键词上下文向量,从而解决解码器丢失输入文本关键信息这一问题.在CNN/Daily Mail数据集上的实验结果表明KSIE-PGN模型能够较好地捕捉输入文本中的关键信息.
