-
题名面向小样本抽取式问答的多标签语义校准方法
- 1
-
-
作者
刘青
陈艳平
邹安琪
秦永彬
黄瑞章
-
机构
贵州大学公共大数据国家重点实验室
贵州大学文本计算与认知智能教育部工程研究中心
-
出处
《应用科学学报》
CAS
CSCD
北大核心
2024年第1期161-173,共13页
-
基金
国家自然科学基金(No.62166007)资助。
-
文摘
小样本抽取式问答任务旨在利用文章给定的上下文片段,抽取出真实的答案片段。其基线模型采用的方法只针对跨度进行学习,缺乏对全局语义信息的利用,在含有多组不同重复跨度的实例中存在着理解偏差等问题。为了解决上述问题,该文利用不同层级的语义提出了一种面向小样本抽取式问答任务的多标签语义校准方法。采用包含全局语义信息的头标签和基线模型中的特殊字符构成多标签进行语义融合,并利用语义融合门来控制全局信息流的引入,将全局语义信息融合到特殊字符的语义信息中。然后,利用语义筛选门对新融入的全局语义信息和该特殊字符的原有语义信息进行保留与更替,实现对标签偏差语义的校准。在8个小样本抽取式问答数据集中的56组实验结果表明:该方法在评价指标F1值上均明显优于基线模型,证明了所提方法的有效性和先进性。
-
关键词
小样本抽取式问答
跨度抽取式问答
多标签语义融合
双门控机制
机器阅读理解
-
Keywords
few-shot extraction question answering
span extraction question answering
multi-label semantic fusion
dual gating mechanism
machine reading comprehension
-
分类号
P751.1
[交通运输工程—港口、海岸及近海工程]
-
-
题名问答式林业预训练语言模型ForestBERT
被引量：4
- 2
-
-
作者
谭晶维
张怀清
刘洋
杨杰
郑东萍
-
机构
中国林业科学研究院资源信息研究所、国家林业和草原局林业遥感与信息技术重点实验室
北京林业大学林学院
夏威夷大学马诺阿分校
-
出处
《林业科学》
EI
CAS
CSCD
北大核心
2024年第9期99-110,共12页
-
基金
国家重点研发计划项目(2022YFE0128100)。
-
文摘
【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。
-
关键词
林业文本
BERT
预训练语言模型
特定领域预训练
抽取式问答任务
自然语言处理
-
Keywords
forestry text
BERT
pre-trained language model
domain-specific pre-training
extractive question answering task
natural language processing
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
-
题名基于BERT的三阶段式问答模型
被引量：4
- 3
-
-
作者
彭宇
李晓瑜
胡世杰
刘晓磊
钱伟中
-
机构
电子科技大学信息与软件工程学院
-
出处
《计算机应用》
CSCD
北大核心
2022年第1期64-70,共7页
-
基金
四川省科技计划项目(重点研发项目)(19ZDYF0794)。
-
文摘
预训练语言模型的发展极大地推动了机器阅读理解任务的进步。为了充分利用预训练语言模型中的浅层特征,并进一步提升问答模型预测答案的准确性,提出了一种基于BERT的三阶段式问答模型。首先,基于BERT设计了预回答、再回答及答案调整三个阶段;然后,在预回答阶段将BERT嵌入层的输入视作浅层特征来进行答案预生成;接着,在再回答阶段使用经BERT充分编码后的深层特征进行答案再生成;最后,在答案调整阶段结合前两个答案产生最终的预测结果。在抽取式问答任务的英文数据集SQuAD2.0和中文数据集CMRC2018上的实验结果显示,该模型在精准匹配度(EM)和F1分数(F1)两个指标上相较于同类基准模型平均提升了1~3个百分点,抽取出的答案片段更加准确。通过融合BERT中的浅层特征与深层特征,该三阶段模型拓展了BERT的抽象表示能力,探索了BERT中的浅层特征在问答模型中的应用,具有结构简单、预测准确、训练和推断速度快等特点。
-
关键词
自然语言处理
机器阅读理解
抽取式问答
BERT
深度学习
-
Keywords
Natural Language Processing(NLP)
machine reading comprehension
span-extraction question answering
Bidirectional Encoder Representation from Transformers(BERT)
deep learning
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
