-
题名面向法律文书的分段式摘要模型
被引量：5
- 1
-
-
作者
王刚
孙媛媛
陈彦光
林鸿飞
-
机构
大连理工大学计算机科学与技术学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第6期288-294,共7页
-
基金
国家重点研发计划(2018YFC0830604)。
-
文摘
是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Transformer结构的文档级句子编码器,提出一种结合内容抽取与摘要生成的分段式摘要模型。采用BERT模型对大量语料进行自监督学习,获得包含丰富语义信息的词表示。基于Transformer结构,通过全连接网络分类器将每个句子分成3类标签,抽取每句摘要对应的原文句子集合。利用指针生成器网络对原文句子集合进行压缩,将多个句子集合生成单句摘要,缩短输出序列和输入序列的长度。实验结果表明,相比直接生成摘要全文,该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点,能够有效提高生成句子的准确率。
-
关键词
司法摘要
预训练模型
Transformer编码器
序列标注
指针生成器网络
分段式摘要模型
-
Keywords
judical summarization
pre-training model
Transformer encoder
sequence labeling
Pointer-Generator(PG)network
segmented summarization model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名SFExt-PGAbs:两阶段长文档摘要模型
- 2
-
-
作者
周伟枭
蓝雯飞
许智明
朱容波
-
机构
中南民族大学计算机科学学院
福州大学机械工程及自动化学院
-
出处
《计算机科学与探索》
CSCD
北大核心
2021年第5期907-921,共15页
-
基金
国家自然科学基金(61772562)。
-
文摘
针对抽取式方法、生成式方法在长文档摘要上的流畅性、准确性缺陷以及在文档编码前截断原始文档造成的重要信息缺失问题,提出一种两阶段长文档摘要模型SFExt-PGAbs,由次模函数抽取式摘要SFExt与指针生成器生成式摘要PGAbs组成。SFExt-PGAbs模拟人类对长文档进行摘要的过程,首先使用SFExt在长文档中抽取出重要句子,过滤不重要且冗余的句子形成过渡文档,然后PGAbs接收过渡文档作为输入以生成流畅且准确的摘要。为获取与原始文档中心思想更为接近的过渡文档,在传统SFExt中拓展出位置重要性、准确性两个子方面,同时设计新的贪心算法。为研究不同特征提取器对生成摘要质量的影响,在PGAbs中应用两种循环神经网络。实验结果显示,在CNNDM测试集上,SFExt-PGAbs相较于基线模型生成了更为流畅、准确的摘要,ROUGE指标有较大提升。同时,子方面拓展后的SFExt也能抽取得到更准确的摘要。
-
关键词
两阶段摘要模型
长文档摘要
抽取式摘要
生成式摘要
次模函数
指针生成器
子方面融合
-
Keywords
two-stage summarization model
long document summarization
extractive summarization
abstractive summarization
submodular function
pointer generator
sub-aspect fusion
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
