[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,...[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。展开更多
针对传统的酒店评论摘要生成模型在生成摘要过程中存在对评论的上下文理解不够充分、并行能力不足和长距离文本依赖缺陷的问题,提出了一种基于TRF-IM(improved mask for transformer)模型的个性化酒店评论摘要生成方法。该方法利用Trans...针对传统的酒店评论摘要生成模型在生成摘要过程中存在对评论的上下文理解不够充分、并行能力不足和长距离文本依赖缺陷的问题,提出了一种基于TRF-IM(improved mask for transformer)模型的个性化酒店评论摘要生成方法。该方法利用Transformer译码器结构对评论摘要任务进行建模,通过改进其结构中的掩码方式,使得源评论内容都能够更好地学习到上下文语义信息;同时引入了用户类型的个性化词特征信息,使其生成高质量且满足用户需求的个性化酒店评论摘要。实验结果表明,该模型相比传统模型在ROUGE指标上取得了更高的分数,生成了高质量的个性化酒店评论摘要。展开更多
目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义...目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义增强文本摘要模型CBSUM-Aux(Convolution and BERT Based Summarization Model with Auxiliary Information)。首先,使用窗口大小不同的卷积神经网络模块提取原文中的词特征信息,并与输入的字嵌入进行特征融合,之后通过预训练模型对融合特征进行深度特征挖掘。然后,在解码输出阶段,将卷积之后的词特征信息作为解码辅助信息输入解码器中指导模型解码。最后,针对束搜索算法倾向于输出短句的问题对其进行优化。该文使用LCSTS和CSTSD数据集对模型进行验证,实验结果表明,该文模型在ROUGE指标上有明显提升,生成的摘要与原文语义更加贴合。展开更多
文摘[目的/意义]为了帮助用户在浩如烟海的社交媒体文本中快速获取所需信息,本研究创新地设计了一种基于过滤注意力机制的自动摘要生成模型Filter Unit Model(FUM)。[方法/过程]首先,采用微调BERT对于输入的社交媒体文本进行向量嵌入;其次,设计了过滤注意力机制来滤除嵌入社交媒体文本中的无用信息,基于字词层面和语句层面两种过滤注意力机制,旨在从不同角度对于嵌入向量进行过滤;最后,采用Transformer的解码器部分进行解码工作,并根据过滤注意力机制的不同设计相应的解码策略。[结果/结论]本研究在微博数据集上与摘要生成领域中经典、优秀的基线模型进行对比实验。实验结果表明,本研究所设计的FUM模型有着比其他基线方法更出色的表现。同时,基于语句层面的过滤注意力机制比基于字词层面的有更好的过滤效果。
文摘针对传统的酒店评论摘要生成模型在生成摘要过程中存在对评论的上下文理解不够充分、并行能力不足和长距离文本依赖缺陷的问题,提出了一种基于TRF-IM(improved mask for transformer)模型的个性化酒店评论摘要生成方法。该方法利用Transformer译码器结构对评论摘要任务进行建模,通过改进其结构中的掩码方式,使得源评论内容都能够更好地学习到上下文语义信息;同时引入了用户类型的个性化词特征信息,使其生成高质量且满足用户需求的个性化酒店评论摘要。实验结果表明,该模型相比传统模型在ROUGE指标上取得了更高的分数,生成了高质量的个性化酒店评论摘要。
文摘目前,基于BERT预训练的文本摘要模型效果良好。然而,预训练模型内部使用的自注意力机制倾向于关注文本中字与字之间的相关信息,对词信息关注度较低,并且在解码时存在语义理解不充分的情况。针对上述问题,该文提出了一种基于BERT的语义增强文本摘要模型CBSUM-Aux(Convolution and BERT Based Summarization Model with Auxiliary Information)。首先,使用窗口大小不同的卷积神经网络模块提取原文中的词特征信息,并与输入的字嵌入进行特征融合,之后通过预训练模型对融合特征进行深度特征挖掘。然后,在解码输出阶段,将卷积之后的词特征信息作为解码辅助信息输入解码器中指导模型解码。最后,针对束搜索算法倾向于输出短句的问题对其进行优化。该文使用LCSTS和CSTSD数据集对模型进行验证,实验结果表明,该文模型在ROUGE指标上有明显提升,生成的摘要与原文语义更加贴合。
