针对柑橘病虫害领域文本数据中存在重叠三元组、嵌套实体和复杂实体抽取困难的问题,提出一种基于DPNA-CASREL(Dual-pointer network annotation-cascade binary tagging framework for relational triple extraction)的柑橘病虫害实体...针对柑橘病虫害领域文本数据中存在重叠三元组、嵌套实体和复杂实体抽取困难的问题,提出一种基于DPNA-CASREL(Dual-pointer network annotation-cascade binary tagging framework for relational triple extraction)的柑橘病虫害实体关系联合抽取方法。通过结合预训练模型RoBERTa-wwm-ext (Robustly optimized BERT pre-training approach with whole word masking and extended training data)与双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)构建编码器获取文本的多维向量编码,并根据柑橘病虫害语料特点设计双重指针网络标注的解码网络,在头实体解码中引入多级指针网络标注方法,在尾实体解码网络中采用复杂实体标注策略以增强模型对复杂实体的抽取性能,实现对实体关系三元组的同步抽取,解决三元组重叠、嵌套实体等问题。在自建柑橘病虫害数据集上的实验结果表明,DPNA-CASREL模型的精确率、召回率和F1值分别为82.12%、81.97%、82.05%,优于其他模型,对嵌套、复杂实体抽取的F1值比CASREL分别提升8.16、6.58个百分点,有效解决了实体嵌套和实体边界不清晰问题。本文方法可为柑橘病虫害知识图谱构建提供基础。展开更多
古籍命名实体识别(named entity recognition,NER)旨在通过有限的标注样本识别未见的古籍实体。由于古籍文本的标注数据稀缺、实体边界模糊以及复杂的上下文语境,传统基于预训练语言模型(pre-trained language model,PLM)微调的方法在...古籍命名实体识别(named entity recognition,NER)旨在通过有限的标注样本识别未见的古籍实体。由于古籍文本的标注数据稀缺、实体边界模糊以及复杂的上下文语境,传统基于预训练语言模型(pre-trained language model,PLM)微调的方法在适应古籍文本时,主要存在嵌套实体检测困难和两阶段错误传播的问题。尽管提示学习在小样本任务中具有优势,但现有方法未充分优化来适应古籍的语言特性,导致信息挖掘不足,且需要精心设计模板和多轮推断,计算成本较高且稳定性差。针对以上问题,提出一种结合多类型软提示和高效全局指针网络(efficient global pointer,EGP)的古籍NER方法。使用多个实体类型标签词初始化多类型软提示,通过嵌入矩阵映射生成多个可学习的实体类别软提示向量,增强语义感知能力。采用注意力机制优化软提示与输入文本的交互,提升模型对古籍文本语义的理解。通过并行输入多个软提示至EGP,模型能够同时预测所有实体并精确捕捉实体边界,解决了传统两阶段模型中的错误传播与实体重叠问题。与BERT-BiLSTM-CRF方法相比,所提方法在《三十世家》古籍、礼仪领域古籍和CHisIEC三个数据集上的F1值分别提升了11.56%、9.52%和13.66%,且推理效率是BERT-BiLSTMCRF方法的37.65倍,验证了该方法在古籍NER任务中的有效性。展开更多
在汉越低资源翻译任务中,句子中的实体词准确翻译是一大难点。针对实体词在训练语料中出现的频率较低,模型无法构建双语实体词之间的映射关系等问题,构建一种融入实体翻译的汉越神经机器翻译模型。首先,通过汉越实体双语词典预先获取源...在汉越低资源翻译任务中,句子中的实体词准确翻译是一大难点。针对实体词在训练语料中出现的频率较低,模型无法构建双语实体词之间的映射关系等问题,构建一种融入实体翻译的汉越神经机器翻译模型。首先,通过汉越实体双语词典预先获取源句中实体词的翻译结果;其次,将结果拼接在源句末端作为模型的输入,同时在编码端引入“约束提示信息”增强表征;最后,在解码端融入指针网络机制,以确保模型能复制输出源端句的词汇。实验结果表明,该模型相较于跨语言模型XLM-R(Cross-lingual Language Model-RoBERTa)的双语评估替补(BLEU)值在汉越方向提升了1.37,越汉方向提升了0.21,时间性能上相较于Transformer该模型在汉越方向和越汉方向分别缩短3.19%和3.50%,可有效地提升句子中实体词翻译的综合性能。展开更多
电力变压器缺陷文本蕴含大量与设备可靠性密切相关的信息,可为变压器的智能化运维及寿命周期管理提供重要支撑。依托基于Transformer的双向编码器表示(bidirectional encoder representation from transformers,BERT)模型,文章提出一种...电力变压器缺陷文本蕴含大量与设备可靠性密切相关的信息,可为变压器的智能化运维及寿命周期管理提供重要支撑。依托基于Transformer的双向编码器表示(bidirectional encoder representation from transformers,BERT)模型,文章提出一种融合乱序语言模型预训练BERT(pre-training BERT with permuted language model,PERT)与高效全局指针(efficient global pointer,EGP)网络的电力变压器缺陷文本实体识别方法。首先,在大规模中文语料库上利用乱序语言模型进行预训练以形成PERT模型。其次,PERT作为语义编码层,以深入挖掘实体内部的语义依赖关系,并捕捉复杂文本中的语言特征;EGP作为信息解码层,专注于精确定位关键信息并提取实体在缺陷文本中的分布特征,进而准确识别缺陷实体。最后,运用PERT-EGP模型识别缺陷文本中包含的缺陷设备、缺陷部件、缺陷部位、缺陷现象和缺陷程度5类实体。算例结果表明,相较于现有方法,该方法不仅在成分复杂的复合实体和长文本上效果提升显著,而且大幅缩短模型训练时间,具有更好的文本识别性能。展开更多
为了解决自动文本摘要任务存在的文本语义信息不能充分编码、生成的摘要语义冗余、原始语义信息丢失等语义问题,提出了一种融合知识和文本语义信息的双编码器自动摘要模型(dual-encoder automatic summarization model incorporating kn...为了解决自动文本摘要任务存在的文本语义信息不能充分编码、生成的摘要语义冗余、原始语义信息丢失等语义问题,提出了一种融合知识和文本语义信息的双编码器自动摘要模型(dual-encoder automatic summarization model incorporating knowledge and semantic information,KSDASum)。该方法采用双编码器对原文语义信息进行充分编码,文本编码器获取全文的语义信息,图结构编码器维护全文上下文结构信息。解码器部分采用基于Transformer结构和指针网络,更好地捕捉文本和结构信息进行交互,并利用指针网络的优势提高生成摘要的准确性。同时,训练过程中采用强化学习中自我批判的策略梯度优化模型能力。该方法在CNN/Daily Mail和XSum公开数据集上与GSUM生成式摘要方法相比,在评价指标上均获得最优的结果,证明了所提模型能够有效地利用知识和语义信息,提升了生成文本摘要的能力。展开更多
基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取...基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。展开更多
文摘针对柑橘病虫害领域文本数据中存在重叠三元组、嵌套实体和复杂实体抽取困难的问题,提出一种基于DPNA-CASREL(Dual-pointer network annotation-cascade binary tagging framework for relational triple extraction)的柑橘病虫害实体关系联合抽取方法。通过结合预训练模型RoBERTa-wwm-ext (Robustly optimized BERT pre-training approach with whole word masking and extended training data)与双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)构建编码器获取文本的多维向量编码,并根据柑橘病虫害语料特点设计双重指针网络标注的解码网络,在头实体解码中引入多级指针网络标注方法,在尾实体解码网络中采用复杂实体标注策略以增强模型对复杂实体的抽取性能,实现对实体关系三元组的同步抽取,解决三元组重叠、嵌套实体等问题。在自建柑橘病虫害数据集上的实验结果表明,DPNA-CASREL模型的精确率、召回率和F1值分别为82.12%、81.97%、82.05%,优于其他模型,对嵌套、复杂实体抽取的F1值比CASREL分别提升8.16、6.58个百分点,有效解决了实体嵌套和实体边界不清晰问题。本文方法可为柑橘病虫害知识图谱构建提供基础。
文摘古籍命名实体识别(named entity recognition,NER)旨在通过有限的标注样本识别未见的古籍实体。由于古籍文本的标注数据稀缺、实体边界模糊以及复杂的上下文语境,传统基于预训练语言模型(pre-trained language model,PLM)微调的方法在适应古籍文本时,主要存在嵌套实体检测困难和两阶段错误传播的问题。尽管提示学习在小样本任务中具有优势,但现有方法未充分优化来适应古籍的语言特性,导致信息挖掘不足,且需要精心设计模板和多轮推断,计算成本较高且稳定性差。针对以上问题,提出一种结合多类型软提示和高效全局指针网络(efficient global pointer,EGP)的古籍NER方法。使用多个实体类型标签词初始化多类型软提示,通过嵌入矩阵映射生成多个可学习的实体类别软提示向量,增强语义感知能力。采用注意力机制优化软提示与输入文本的交互,提升模型对古籍文本语义的理解。通过并行输入多个软提示至EGP,模型能够同时预测所有实体并精确捕捉实体边界,解决了传统两阶段模型中的错误传播与实体重叠问题。与BERT-BiLSTM-CRF方法相比,所提方法在《三十世家》古籍、礼仪领域古籍和CHisIEC三个数据集上的F1值分别提升了11.56%、9.52%和13.66%,且推理效率是BERT-BiLSTMCRF方法的37.65倍,验证了该方法在古籍NER任务中的有效性。
文摘在汉越低资源翻译任务中,句子中的实体词准确翻译是一大难点。针对实体词在训练语料中出现的频率较低,模型无法构建双语实体词之间的映射关系等问题,构建一种融入实体翻译的汉越神经机器翻译模型。首先,通过汉越实体双语词典预先获取源句中实体词的翻译结果;其次,将结果拼接在源句末端作为模型的输入,同时在编码端引入“约束提示信息”增强表征;最后,在解码端融入指针网络机制,以确保模型能复制输出源端句的词汇。实验结果表明,该模型相较于跨语言模型XLM-R(Cross-lingual Language Model-RoBERTa)的双语评估替补(BLEU)值在汉越方向提升了1.37,越汉方向提升了0.21,时间性能上相较于Transformer该模型在汉越方向和越汉方向分别缩短3.19%和3.50%,可有效地提升句子中实体词翻译的综合性能。
文摘电力变压器缺陷文本蕴含大量与设备可靠性密切相关的信息,可为变压器的智能化运维及寿命周期管理提供重要支撑。依托基于Transformer的双向编码器表示(bidirectional encoder representation from transformers,BERT)模型,文章提出一种融合乱序语言模型预训练BERT(pre-training BERT with permuted language model,PERT)与高效全局指针(efficient global pointer,EGP)网络的电力变压器缺陷文本实体识别方法。首先,在大规模中文语料库上利用乱序语言模型进行预训练以形成PERT模型。其次,PERT作为语义编码层,以深入挖掘实体内部的语义依赖关系,并捕捉复杂文本中的语言特征;EGP作为信息解码层,专注于精确定位关键信息并提取实体在缺陷文本中的分布特征,进而准确识别缺陷实体。最后,运用PERT-EGP模型识别缺陷文本中包含的缺陷设备、缺陷部件、缺陷部位、缺陷现象和缺陷程度5类实体。算例结果表明,相较于现有方法,该方法不仅在成分复杂的复合实体和长文本上效果提升显著,而且大幅缩短模型训练时间,具有更好的文本识别性能。
文摘为了解决自动文本摘要任务存在的文本语义信息不能充分编码、生成的摘要语义冗余、原始语义信息丢失等语义问题,提出了一种融合知识和文本语义信息的双编码器自动摘要模型(dual-encoder automatic summarization model incorporating knowledge and semantic information,KSDASum)。该方法采用双编码器对原文语义信息进行充分编码,文本编码器获取全文的语义信息,图结构编码器维护全文上下文结构信息。解码器部分采用基于Transformer结构和指针网络,更好地捕捉文本和结构信息进行交互,并利用指针网络的优势提高生成摘要的准确性。同时,训练过程中采用强化学习中自我批判的策略梯度优化模型能力。该方法在CNN/Daily Mail和XSum公开数据集上与GSUM生成式摘要方法相比,在评价指标上均获得最优的结果,证明了所提模型能够有效地利用知识和语义信息,提升了生成文本摘要的能力。
文摘基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。
