题名 片段抽取型机器阅读理解算法研究
被引量：4
1
作者
叶俊民 赵晓丽 杜翔 姚贤坦
机构
华中师范大学计算机学院
出处
《计算机应用研究》
CSCD
北大核心
2021年第11期3268-3273,共6页
基金
国家社会科学基金后期资助项目(20FTQB020)。
文摘
针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息,这容易导致训练和预测速度慢且模型预测准确性不高等问题,提出了一种片段抽取型机器阅读理解算法QA-Reader。该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示;使用深度可分离卷积和多头自注意力机制进行编码;计算上下文和问题的双向注意力及上下文的自注意力,以融合上下文和问题之间的关联信息,拼接得到最终的语义表征;经过模型编码器预测得到答案,模型针对不可回答的问题计算了其不可回答的概率。在中文片段抽取型机器阅读理解数据集上进行了实验,结果表明QA-Reader模型与基线模型相比,其性能方面EM和F 1值分别提高了3.821%、2.740%,训练速度提高了0.089%。
关键词
机器 阅读 理解 片段抽取型机器阅读理解 RoBERTa-www-ext 卷积神经网络 注意力机制
Keywords
machine reading comprehension span-extraction machine reading comprehension RoBERTa-www-ext convolutional neural network attention mechanism
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于机器阅读理解的中文事件论元抽取方法
2
作者
马文杰 吴家帆 陶建华 杨国花 张大伟
机构
中国科学院自动化研究所模式识别国家重点实验室 中国科学院大学人工智能学院
出处
《中文信息学报》
北大核心
2025年第5期102-109,共8页
基金
国家自然科学基金(61831022,U21B2010,61901473,62101553)。
文摘
事件抽取任务旨在从文本中抽取出事件信息,包含事件类型检测和事件论元抽取两个子任务。目前的中文事件论元抽取方法存在着如下问题:(1)两段式论元抽取方法中存在误差累积;(2)现有模型在嵌套实体以及多实体抽取场景上表现较差;(3)现有方法主要聚焦于抽取预先定义的样本类型事件,且比较依赖训练数据,因此对于新的以及样本极少的事件类型抽取效果较差。针对上述问题,该文将中文事件论元抽取任务重构为机器阅读理解任务,有效地缓解了上述误差累积、嵌套实体、多论元实体抽取效率低的问题。实验证明,该种建模方式能够有效地利用预训练语言模型的优势及事件类型等先验信息,具有很好的泛化性能,并且能很好地推广到新事件类型的论元角色的识别中。
关键词
事件论元抽取 机器 阅读 理解 预训练语言模型
Keywords
event argument extraction machine reading comprehension pre-trained language model
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 融合动态交互和对比学习的机器阅读理解模型
3
作者
方宇涵 杨凡 张庆
机构
中国科学院成都计算机应用研究所 中国科学院大学
出处
《计算机应用》
北大核心
2025年第S1期30-36,共7页
基金
四川省科技计划项目(24QYCX0229)。
文摘
针对抽取式机器阅读理解(MRC)任务中存在的抽取位置偏差、答案冗余和预训练语言模型样本数据不足的问题,提出一种融合动态交互和对比学习的MRC模型。首先,将预训练模型的解码层改进为交互预测层,并引入动态自注意力和动态查询机制预测答案;其次,通过TopK算法从预训练模型输出的语义向量中选择关键位置,并通过多头自注意力机制增强这些位置的特征;再次,基于增强后的语义向量与静态查询向量计算动态查询向量,并且输出答案预测向量;最后,在损失计算阶段,构建负样本来实现对比学习,并引入三元损失以避免过拟合。实验结果显示,在CMRC2018(Chinese Machine Reading Comprehension 2018)中文数据集上,与基线模型RoBERTa-wwm-ext-large(Robustly optimized Bidirectional Encoder Representations from Transformers approach with whole word masking extended large)相比,所提模型的F1值和EM(Exact Match)值分别提高了1.82和1.29个百分点;在SQuADv1.1(Stanford Question Answering Dataset version 1.1)英文数据集上,与基线模型RoBERTa(Robustly optimized Bidirectional Encoder Representations from Transformers approach)相比,所提模型的F1值和EM值分别提高了1.18和0.58个百分点。表明所提模型优于大多数现有的MRC模型,且所提模型具有有效性和泛化性,可完成更精准和更可靠的阅读理解任务。
关键词
机器 阅读 理解 预训练模型 片段 抽取 动态交互 三元损失
Keywords
Machine Reading Comprehension(MRC) pre-trained model span extraction dynamic interaction triplet loss
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 面向散文阅读理解简答题的多片段答案关键句抽取方法
4
作者
侯祺积 李旸 王素格 何东欢 李书琪
机构
山西大学计算机与信息技术学院 山西财经大学金融学院 山西大学计算智能与中文信息处理教育部重点实验室
出处
《中文信息学报》
北大核心
2025年第6期67-76,共10页
基金
国家自然科学基金(62376143,62076158,62106130) 山西省自然科学基金(20210302124084) 山西省高等学校科技创新计划项目(2021L284)。
文摘
机器阅读理解是自然语言处理领域中一个非常重要的研究方向,近年来发布了许多中文阅读理解任务的数据集,但散文数据集的构建工作还略显不足。该文从散文阅读理解简答题的角度,构建了散文阅读理解简答题答案关键句数据集。在散文阅读理解简答题中,散文文本较长,答案关键句分散在多个段落中,现有模型对长文本输入的底层设计存在局限性。为此,该文提出一种多片段答案关键句抽取方法。该方法融合词形匹配和词语语义相似度,构建了问题与句子的相似度计算模型;设计了分块处理策略,缓解了长文本输入信息缺失问题;构建了问题与文本的相关性判别模型,实现了多片段答案关键句抽取。在该文构建的数据集上与其他方法进行比较实验,实验结果表明,该方法性能优于其他对比方法。
关键词
散文阅读 理解 多片段 抽取 关键句抽取 文本分块 相关性得分
Keywords
prose reading comprehension multi-span extraction key sentence extraction text block correlation score
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于多任务联合学习的多片段机器阅读理解方法研究
5
作者
张虎 范越 李茹
机构
山西大学计算机与信息技术学院 山西大学计算智能与中文信息处理教育部重点实验室
出处
《中文信息学报》
CSCD
北大核心
2024年第11期79-90,共12页
基金
国家自然科学基金(62176145)。
文摘
片段抽取式阅读理解是机器阅读理解任务中的一项重要研究内容,现有的相关研究主要关注单片段抽取,然而,实际应用中很多阅读理解问题的答案由文本的多处不连续片段组成,这使得多片段抽取式阅读理解研究受到越来越多的关注。已有的多片段抽取式阅读理解研究大都采用序列标注的方法,该方法不能有效识别多片段问题类型,常常对不同类型的问题给出多个答案片段。为此,该文提出一种结合动态预测片段数量和序列标注的多任务联合学习方法。其中,动态预测片段数量能较为准确地识别出多片段问题类型;序列标注能够实现多个答案片段的有效定位。同时,为了进一步增强现有模型的泛化能力,该文在模型训练中构造了对抗训练和两阶段训练方式。在2021中国法律智能技术评测(Challenge of AI in Law 2021,CAIL2021)数据集和QUOREF数据集上的实验结果表明,该文提出的方法相比基线模型取得了更好的效果。
关键词
机器 阅读 理解 多片段 抽取 自然语言理解 多任务联合学习
Keywords
machine reading comprehension multi-span extraction natural language understanding multi-task joint learning
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于会话式机器阅读理解模型的事件抽取方法
被引量：4
6
作者
刘露平 周欣 程军军 何小海 卿粼波 王美玲
机构
四川大学电子信息学院 中国信息安全测评中心
出处
《计算机科学》
CSCD
北大核心
2023年第2期275-284,共10页
基金
国家自然科学基金(60903098) 成都市重大应用示范项目(2019-YF09-00120-SN)。
文摘
事件抽取旨在从海量的非结构化文本中自动提取出结构化描述信息,以帮助人们快速地了解事件的最新发展动态。传统的事件抽取方法主要采用分类或者序列标注的方法,其依赖于大量的标注数据来训练模型。近年来,研究者提出了利用机器阅读理解模型来进行事件抽取的方法,通过任务转换并联合利用机器阅读理解任务中的标注数据进行训练来缓解标注数据的不足。然而现有方法局限于单轮问答,问答对之间缺少依赖关系;此外,已有方法也未充分利用句子中的实体信息等知识。针对以上不足,提出了一种会话式机器阅读理解框架用于事件抽取,针对已有方法进行了两方面的扩展:首先,通过在句子中显式地增加实体标记信息,使得模型能够有效地学习到输入句子中的实体知识;其次,设计了历史会话信息编码模块,并结合注意力机制从历史会话中筛选出重要信息,融合到阅读理解模型中以辅助推断。最后,在公开数据集上的实验结果表明所提模型相比已有方法取得了更优的结果。
关键词
事件抽取 会话式机器 阅读 理解 实体信息标记 历史会话信息编码 注意力机制
Keywords
Event extraction Conversational machine reading comprehension Entity information marking Historical conversational information encoding Attention mechanism
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于机器阅读理解模型与众包验证的属性值抽取方法
被引量：1
7
作者
冯桫 刘井平 蒋海云 肖仰华
机构
复旦大学计算机科学技术学院
出处
《计算机工程》
CAS
CSCD
北大核心
2021年第5期97-103,共7页
基金
上海市科技创新行动计划(19511120400)。
文摘
由于互联网语料的高噪音特性,传统的属性值抽取方法存在人工成本增加及训练集缺乏等问题。提出一种新的实体属性值抽取方法。利用机器阅读理解模型,从互联网语料中抽取出高质量的候选属性值,通过高效的众包验证机制调整各候选属性值的权重,得到最终抽取结果。实验结果表明,与OpenTag、QANET等模型相比,该机器阅读理解模型有效提升了候选属性值抽取的准确性,抽取准确率提升10%左右,同时通过众包验证方法,能够以较低的众包成本提高属性值抽取的整体性能。
关键词
属性值抽取 机器 阅读 理解 模型 知识图谱 众包 序列标注
Keywords
attribute value extraction machine reading comprehension model knowledge graph crowdsourcing sequence labeling
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
题名 面向机器阅读理解的边界感知方法
8
作者
刘青 陈艳平 邹安琪 黄瑞章 秦永彬
机构
贵州大学文本计算与认知智能教育部工程研究中心 公共大数据国家重点实验室(贵州大学) 贵州大学计算机科学与技术学院
出处
《计算机应用》
CSCD
北大核心
2024年第7期2004-2010,共7页
基金
国家自然科学基金资助项目(62166007) 贵州省科技支撑计划项目([2022]277)。
文摘
针对现有的基于预训练语言模型的答案获取方法存在预测边界不够准确的问题,提出一种面向片段抽取式机器阅读理解(MRC)的边界感知方法。首先,在问题输入阶段引入特殊字符标记问题边界,通过增强问题语义信息的方式实现对问题边界的感知;其次,在答案预测阶段,构建答案边界回归器,实现感知的问题边界语义信息与输出的预测答案边界语义信息的语义交互;最后,通过交互后的语义信息进一步调整存在偏差的预测答案边界,实现对预测答案的校准。实验结果表明,与SpanBERT(Span-based Bidirectional Encoder Representation from Transformers)相比,该方法在公共数据集SQuAD(Stanford Question Answering Dataset)1.1上的F1值提升了0.2个百分点、精确匹配(EM)值提升了0.9个百分点;在HotpotQA(Hotpot Question Answering)数据集上的F1值和EM值都提升了0.7个百分点;在NewsQA(News Question Answering)数据集上的F1值提升了2.8个百分点、EM值提升了3.3个百分点。可见,该方法能有效增强对问题边界信息的感知并且实现对预测答案边界的校准,有利于更好地理解和分析文本数据,在智能问答、智能客服等领域的应用中提高系统的准确性。
关键词
机器 阅读 理解 问题边界感知 答案边界回归 片段 抽取
Keywords
Machine Reading Comprehension(MRC) question boundary-awareness answer boundary regression span extraction
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 外部注意力增强语义交互的阅读理解模型
9
作者
吴迪 马超 段晓旋
机构
河北工程大学信息与电气工程学院 中共邢台市委中共邢台市委办公室
出处
《计算机工程与设计》
北大核心
2024年第7期2097-2103,共7页
基金
国网电网有限公司科技指南基金项目(5600-202019167A-0-0-00) 河北省自然科学基金项目(F2020402003)。
文摘
针对传统抽取式阅读理解模型未充分考虑问答样本之间潜在相关性的问题,通过RoBERTa对问题与段落进行编码,利用外部注意力Exatt增强语义交互层特征获取能力,提出外部注意力增强语义交互的阅读理解模型,捕获问题与段落中蕴涵的语义特征和不同问答样本之间的潜在相关性。实验结果表明,在CMRC2018和构建的电力安规问答数据集上,在评价指标EM和F1两方面,该方法较基线模型分别最高提高了0.737%和2.556%。
关键词
电力安规 抽取 式机器 阅读 理解 预训练模型 问答样本 潜在相关性 外部注意力 语义交互
Keywords
power safety abstract machine reading comprehension pre-training model Q&A samples potential relevance external attention semantic interaction
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 基于多尺度卷积的阅读理解候选句抽取
被引量：1
10
作者
李沫谦 杨陟卓 李茹 王笑月 吉宇
机构
山西大学计算机与信息技术学院 山西大学计算智能与中文信息处理教育部重点实验室
出处
《中文信息学报》
CSCD
北大核心
2024年第8期128-139,157,共13页
基金
国家重点研发基金(2018YFB1005103) 山西省基础研究计划面上项目(20210302123469) 国家自然科学基金(61936012)。
文摘
机器阅读理解作为检验机器是否具有理解人类自然语言能力的重要任务之一,受到了越来越广泛的关注。该文针对选择型阅读理解任务中特征提取不全面和交互不充分的问题,提出一种基于多尺度卷积的候选句抽取模型。首先,使用预训练模型编码句子语义信息,并利用多种特征辅助编码提升模型性能。其次,为了充分利用文本信息,采用多尺度卷积捕捉不同尺度的文本特征。再次,使用Focal Loss解决阅读理解中正负样本不均衡的问题,最后,选取top-20作为候选句。该文的方法在两个阅读理解选择题数据集上进行测试,实验结果表明,多尺度卷积模型效果优于基线模型,F1值较最优基线模型结果分别提升3.66%和4.82%,验证了方法的有效性。
关键词
机器 阅读 理解 候选句抽取 多尺度卷积
Keywords
machine reading comprehension evidence sentence extraction multi-scale convolution
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 机器阅读理解式中文事件抽取方法
被引量：3
11
作者
吴旭 卞文强 颉夏青 孙利娟
机构
北京邮电大学网络空间安全学院 北京邮电大学可信分布式计算与服务教育部重点实验室 北京邮电大学图书馆 北京邮电大学经济管理学院
出处
《计算机工程与应用》
CSCD
北大核心
2023年第16期93-100,共8页
基金
国家自然科学基金(62072488) 2017北京市教工委网络舆情信息编报(700300184)。
文摘
事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先验信息。提出一种基于预训练模型的机器阅读理解式中文事件抽取方法(Chinese event extraction by machine reading comprehension,CEEMRC),将中文事件抽取简化为两个问答模型的级联。首先对事件触发词抽取、事件类型判定、属性抽取构建相应的问答任务问题。以RoBERTa为基础构建触发词抽取和事件类型识别联合模型、事件属性抽取两个问答模型,并融入触发词先验特征、分词信息、触发词相对位置等信息来提升模型效果。最后以模型预测回答的起始和结束位置完成所需的抽取。实验使用DuEE中文事件数据集,触发词抽取和属性抽取的F1值均优于同类方法,验证了该方法的有效性。
关键词
机器 阅读 理解 问答任务 预训练模型 中文事件抽取
Keywords
machine reading comprehension question answering tasks pre-training model Chinese event extraction
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 基于机器阅读理解的古文事件抽取研究
被引量：2
12
作者
喻雪寒 何琳 王献琪
机构
南京农业大学信息管理学院 南京农业大学人文与社会计算研究中心
出处
《情报学报》
CSSCI
CSCD
北大核心
2023年第3期316-326,共11页
基金
国家社会科学基金一般项目“基于典籍的中华传统文化知识表达体系自动构建方法研究”(18BTQ063)。
文摘
准确地梳理古文典籍脉络,抽取典籍中蕴含的事件和事件论元,对古籍从文本数据向智能化数据转化具有重要意义。针对古文事件的抽取研究主要有基于模式匹配、机器学习和神经网络三种方式,本文在现有的基于神经网络的方法中融入机器阅读理解模式,将事件抽取中出现的“事件类型”和“论元角色”糅合为问题形式,由此输出的答案即为事件论元。分别选取编年体史书《左传》和纪传体史书《史记》作为训练和泛化的数据,在具体的泛化过程中引入混淆句以验证模型效果,为古文事件抽取提供了可参照的思路。
关键词
古籍文本 机器 阅读 理解 事件抽取 RoBERTa 混淆句
Keywords
ancient books machine reading comprehension event extraction RoBERTa confused sentences
分类号
I206.2
[文学—中国文学]
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 抽取式机器阅读理解研究综述
被引量：10
13
作者
包玥 李艳玲 林民
机构
内蒙古师范大学计算机科学技术学院
出处
《计算机工程与应用》
CSCD
北大核心
2021年第12期25-36,共12页
基金
国家自然科学基金(61806103,61562068) 内蒙古纪检监察大数据实验室开放课题(IMDBD2020013) +3 种基金 内蒙古自治区“草原英才”工程青年创新创业人才项目 内蒙古师范大学研究生创新基金(CXJJS20127) 内蒙古自治区科技计划(JH20180175) 内蒙古自治区高等学校科学技术研究项目(NJZY21578,NJZY21551)。
文摘
机器阅读理解要求机器能够理解自然语言文本并回答相关问题,是自然语言处理领域的核心技术,也是自然语言处理领域最具挑战性的任务之一。抽取式机器阅读理解是机器阅读理解任务中一个重要的分支,因其更贴合实际情况,更能够反映机器的理解能力,成为当前学术界和工业界的研究热点。对抽取式机器阅读理解从以下四个方面进行了全面地综述:介绍了机器阅读理解任务及其发展历程;介绍了抽取式机器阅读理解任务以及其现阶段存在的难点;对抽取式机器阅读理解任务的主要数据集及方法进行了梳理总结;讨论了抽取式机器阅读理解的未来发展方向。
关键词
抽取 式机器 阅读 理解 自然语言处理 深度学习 迁移学习 注意力机制
Keywords
extractive machine reading comprehension natural language processing deep learning transfer learning attention mechanism
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 基于话题和修辞识别的阅读理解why型问题回答
被引量：9
14
作者
张志昌 张宇 刘挺 李生
机构
哈尔滨工业大学计算机学院信息检索研究中心 西北师范大学数学与信息科学学院
出处
《计算机研究与发展》
EI
CSCD
北大核心
2011年第2期216-223,共8页
基金
国家"八六三"高技术研究发展计划基金项目(2006AA01Z145) 国家自然科学基金项目(60736044 60675034)
文摘
针对阅读理解问答中的why型问题,提出基于问题话题和话题间因果修辞关系识别的答案句抽取方法.抽取时利用机器学习方法,选择可识别出对应问题话题的句子特征、问题话题与句子上下文之间因果关系特征,对篇章内的句子按照成为答案句的概率进行排序.对应问题话题的句子识别利用基于idf和语义角色的相似度;因果修辞关系的识别利用线索短语、特定语义角色、从文档集中挖掘的词间蕴含的因果关系概率信息、句子上下文的位置与表达形式.Remedia语料上的实验结果表明,该方法明显提高了why型问题回答的性能.
关键词
why型 问题 话题 修辞关系 答案抽取 阅读 理解
Keywords
why-question topic rhetorical relation answer extraction reading comprehension
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 一种应用于填空型阅读理解的句式注意力网络
被引量：3
15
作者
霍欢 邹依婷 周澄睿 薛瑶环 黄君扬 金轩城
机构
上海理工大学光电信息与计算机工程学院 复旦大学上海市数据科学重点实验室
出处
《小型微型计算机系统》
CSCD
北大核心
2019年第3期482-487,共6页
基金
国家自然科学基金项目(61003031)资助 上海重点科技攻关项目(14511107902)资助 +3 种基金 上海市工程中心建设项目(GCZX14014)资助 上海市一流学科建设项目(XTKX2012)资助 上海市数据科学重点实验室开放课题项目(201609060003)资助 沪江基金研究基地专项项目(C14001)资助
文摘
机器阅读理解是针对问题、文章、答案这个元组的建模问题,目的是根据问题中的关键词和关键词间的关系,给出问题答案.本文研究填空型阅读理解中候选答案与问题句式结构的对齐问题,提出一种基于注意力机制的序列学习模型,句式注意力网络SAN.首先,SAN的词嵌入层后添加一个前向GRU网络实现问题对文章句子的全局筛选,缩小候选文章内容范围.之后参照问题与文章句子的内容与结构确定答案,使用句式注意力结构对文章与问题进行实体对齐,再依据实体间的相似性获取问题答案.实验通过人工数据集Children's BookTest进行验证,结果表明SAN模型回答问题的准确程度和速度都比AOA模型好.
关键词
机器 阅读 填空型 理解 句子筛选 句式注意力
Keywords
machine reading cloze-style comprehension sentence selection syntactical attention
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 基于术语提示双路文本生成的方面情感三元组抽取
16
作者
李银强 蓝天 刘瑶 向飛阳 孙丽纯 杜知涵 刘峤
机构
电子科技大学信息与软件工程学院 电子科技大学计算机科学与工程学院
出处
《计算机研究与发展》
北大核心
2025年第4期915-929,共15页
文摘
方面情感三元组抽取(aspect sentiment triplet extraction,ASTE)是方面级情感分析(aspect based sentiment analysis,ABSA)中具有挑战性的子任务之一,旨在从文本中抽取方面术语、观点术语和情感极性三元组.近期基于生成式的抽取方法取得了出色的表现,这些方法通过顺序串联目标三元组来实现自回归式三元组生成.然而,这种串联方法可能导致无序三元组之间存在顺序依赖,从而在解码过程中引入错误累积.为解决这个问题,提出了基于术语提示双路文本生成(term-prompted and dual-path text generation,TePDuP)的方法.该方法首先利用机器阅读理解(machine reading comprehension,MRC)实现方面术语和观点术语的并行化抽取,然后将它们作为提示前缀来引导条件式三元组的生成,形成双路文本生成框架.同时,在训练阶段引入计划采样的方法来修正MRC抽取错误所带来的偏差.为进一步提高性能,引入生成概率将方面术语和观点术语引导的结果合并,以增强模型的鲁棒性.基于ASTE-DATA-V2数据集的实验结果表明,提出的方法是有效的且明显优于其他基线模型,并给出具体案例分析,证明该方法一定程度上解决了前述问题.
关键词
方面级情感分析 三元组抽取 文本生成 机器 阅读 理解 计划采样
Keywords
aspect based sentiment analysis triplet extraction text generation machine reading comprehension(MRC) scheduled sampling
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 多模块联合的阅读理解候选句抽取
17
作者
吉宇 王笑月 李茹 郭少茹 关勇
机构
山西大学计算机与信息技术学院 山西大学计算智能与中文信息处理教育部重点实验室
出处
《中文信息学报》
CSCD
北大核心
2022年第6期109-116,共8页
基金
国家重点研发基金(2018YFB1005103) 国家自然科学基金(61772324)。
文摘
机器阅读理解作为自然语言理解的关键任务,受到国内外学者广泛关注。针对多项选择型阅读理解中无线索标注且涉及多步推理致使候选句抽取困难的问题,该文提出一种基于多模块联合的候选句抽取模型。首先采用部分标注数据微调预训练模型;然后通过TF-IDF递归式抽取多跳推理问题中的候选句;最后结合无监督方式进一步筛选模型预测结果降低冗余性。该文在高考语文选择题及RACE数据集上进行验证,在候选句抽取中,该方法相比于最优基线模型F_(1)值提升3.44%,在下游答题任务中采用候选句作为模型输入较全文输入时准确率分别提高3.68%和3.6%,上述结果证实该文所提方法的有效性。
关键词
机器 阅读 理解 候选句抽取 递归抽取
Keywords
machine reading comprehension evidence sentence extraction recursive extraction
分类号
TP391
[自动化与计算机技术—计算机应用技术]
题名 面向小样本抽取式问答的多标签语义校准方法
18
作者
刘青 陈艳平 邹安琪 秦永彬 黄瑞章
机构
贵州大学公共大数据国家重点实验室 贵州大学文本计算与认知智能教育部工程研究中心
出处
《应用科学学报》
CAS
CSCD
北大核心
2024年第1期161-173,共13页
基金
国家自然科学基金(No.62166007)资助。
文摘
小样本抽取式问答任务旨在利用文章给定的上下文片段,抽取出真实的答案片段。其基线模型采用的方法只针对跨度进行学习,缺乏对全局语义信息的利用,在含有多组不同重复跨度的实例中存在着理解偏差等问题。为了解决上述问题,该文利用不同层级的语义提出了一种面向小样本抽取式问答任务的多标签语义校准方法。采用包含全局语义信息的头标签和基线模型中的特殊字符构成多标签进行语义融合,并利用语义融合门来控制全局信息流的引入,将全局语义信息融合到特殊字符的语义信息中。然后,利用语义筛选门对新融入的全局语义信息和该特殊字符的原有语义信息进行保留与更替,实现对标签偏差语义的校准。在8个小样本抽取式问答数据集中的56组实验结果表明:该方法在评价指标F1值上均明显优于基线模型,证明了所提方法的有效性和先进性。
关键词
小样本抽取 式问答 跨度抽取 式问答 多标签语义融合 双门控机制 机器 阅读 理解
Keywords
few-shot extraction question answering span extraction question answering multi-label semantic fusion dual gating mechanism machine reading comprehension
分类号
P751.1
[交通运输工程—港口、海岸及近海工程]
题名 基于BERT的三阶段式问答模型
被引量：4
19
作者
彭宇 李晓瑜 胡世杰 刘晓磊 钱伟中
机构
电子科技大学信息与软件工程学院
出处
《计算机应用》
CSCD
北大核心
2022年第1期64-70,共7页
基金
四川省科技计划项目(重点研发项目)(19ZDYF0794)。
文摘
预训练语言模型的发展极大地推动了机器阅读理解任务的进步。为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型。首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶段使用经BERT充分编码后的深层特征进行答案再生成;最后,在答案调整阶段结合前两个答案产生最终的预测结果。在抽取式问答任务的英文数据集SQuAD2.0和中文数据集CMRC2018上的实验结果显示,该模型在精准匹配度(EM)和F1分数(F1)两个指标上相较于同类基准模型平均提升了1~3个百分点,抽取出的答案片段更加准确。通过融合BERT中的浅层特征与深层特征,该三阶段模型拓展了BERT的抽象表示能力,探索了BERT中的浅层特征在问答模型中的应用,具有结构简单、预测准确、训练和推断速度快等特点。
关键词
自然语言处理 机器 阅读 理解 抽取 式问答BERT 深度学习
Keywords
Natural Language Processing(NLP) machine reading comprehension span-extraction question answering Bidirectional Encoder Representation from Transformers(BERT) deep learning
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
题名 图神经网络和数值诱导正则化的数值推理方法
20
作者
白宇康 陈彦敏 樊小超 孙睿军 李炜杰
机构
新疆师范大学计算机科学技术学院 中国科学技术大学计算机科学与技术学院 新疆大学软件学院
出处
《智能系统学报》
CSCD
北大核心
2024年第5期1268-1276,共9页
基金
新疆维吾尔自治区自然科学基金项目(2022D01A227) 国家自然科学基金项目(62066044).
文摘
数值推理是机器阅读理解的一项关键能力,而数值推理任务中的数据类型多样,数值之间潜在的运算关系对数值推理任务有着更高的要求。为了进一步提升数值推理能力,一方面继承图神经网络方法并探索新的图结构,采用异构图神经网络结构进行数值推理,另一方面在预训练语言模型中引入数值诱导正则化方法,增强模型的数值理解能力。在DROP数据集上实验的结果表明,2种方法得到76.5%的精准匹配率,与基线模型对比以及对方法的消融实验表明,上述2种方法能够提升机器的数值推理能力。
关键词
数值推理 机器 阅读 理解 图神经网络 异构图 数值诱导正则化 命名实体识别 预训练模型 抽取 式
Keywords
numerical reasoning machine reading comprehension graph neural network heterogeneous graph numerical induced regularization named entity recognition pre-trained model extractive
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
