-
题名TSPT:基于预训练的三阶段复合式文本摘要模型
被引量：3
- 1
-
-
作者
吕瑞
王涛
曾碧卿
刘相湖
-
机构
华南师范大学计算机学院
-
出处
《计算机应用研究》
CSCD
北大核心
2020年第10期2917-2921,共5页
-
基金
国家自然科学基金资助项目(61772211,61503143)。
-
文摘
抽取式方法从源文本中抽取句子,会造成信息冗余;生成式方法可能生成非源文词,会产生语法问题,自然性差。BERT作为一种双向Transformer模型,在自然语言理解任务上展现了优异的性能,但在文本生成任务的应用有待探索。针对以上问题,提出一种基于预训练的三阶段复合式文本摘要模型(TSPT),结合抽取式方法和生成式方法,将源本文经过预训练产生的双向上下文信息词向量由sigmoid函数获取句子得分抽取关键句,在摘要生成阶段将关键句作为完形填空任务重写,生成最终摘要。实验结果表明,该模型在CNN/Daily Mail数据集中取得了良好效果。
-
关键词
预训练
复合式文本摘要模型
抽取式方法
生成式方法
双向上下文信息词向量
-
Keywords
pre-training
compound text summarization model
extractive method
generative method
bidirectional contextual information word vectors
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于MCA-BERT的数学文本分类方法
被引量：2
- 2
-
-
作者
杨先凤
龚睿
李自强
-
机构
西南石油大学计算机科学学院
四川师范大学影视与传媒学院
-
出处
《计算机工程与设计》
北大核心
2023年第8期2312-2319,共8页
-
基金
国家自然科学青年基金项目(61802321)
四川省科技厅重点研发基金项目(2020YFN0019)。
-
文摘
为尽可能地提高数学文本分类的效果,通过构建数学文本数据集并对该数据集进行分析,提出增强文本实体信息的多通道注意力机制-Transformers的双向编码器表示(MCA-BERT)模型。通过Word2vec词向量的平均池化获得句子级的实体信息,通过注意力机制给不同词赋予不同权重,获得词语级的实体信息,将两类实体信息与BERT输出的上下文信息拼接,通过Softmax层得到分类结果。该方法在数学文本数据集上的F1值相比BERT单通道的方法提高了2.1个百分点。实验结果说明,该方法能够有效增强文本实体信息,获得更好的分类效果。
-
关键词
数学文本分类
实体信息
注意力机制
多通道
双向编码器表示
词向量
分类器
-
Keywords
classification of mathematical text
entity information
attention mechanism
multichannel
bidirectional encoder representations from transformers(BERT)
Word2vec
Softmax
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
