-
题名基于交叉多头注意力的查询式文本摘要生成
- 1
-
-
作者
何东欢
李旸
王素格
-
机构
山西大学计算机与信息技术学院
山西财经大学金融学院
山西大学计算智能与中文信息处理教育部重点实验室
-
出处
《中文信息学报》
北大核心
2025年第7期138-147,共10页
-
基金
国家自然科学基金(62376143,62076158,62106130)
山西省自然科学基金(20210302124084)。
-
文摘
生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建立文档、查询和摘要的嵌入表示,再在Transformer架构中,通过交叉的多头注意力机制,建立查询与文档的交互深层语义表示。在此基础上,使用多源指针生成网络,使生成的摘要与文档和查询内容具有语义一致性和表达连贯性。最后,在查询式文本摘要生成数据集Debatepedia和Querysum-data上,与已有方法进行对比实验,实验结果验证了该文摘要生成模型CMAT-PG的有效性。
-
关键词
查询式文本摘要生成
机器阅读理解
交叉多头注意力机制
多源指针生成网络
-
Keywords
query focused summarization generation
machine reading comprehension
cross multi-head attention mechanism
multi-source pointer-generator network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
