实体关系抽取是构建大规模知识图谱和专业领域数据集的重要基础之一,为此提出了一种基于预训练大语言模型的实体关系抽取框架(entity relation extraction framework based on pre-trained large language model, PLLM-RE),并针对循环...实体关系抽取是构建大规模知识图谱和专业领域数据集的重要基础之一,为此提出了一种基于预训练大语言模型的实体关系抽取框架(entity relation extraction framework based on pre-trained large language model, PLLM-RE),并针对循环经济政策进行了实体关系抽取研究。基于所提出的PLLM-RE框架,首先使用RoBERTa模型进行循环经济政策文本的实体识别,然后选取基于Transformer的双向编码器表示(bidirectional encoder representation from Transformers, BERT)模型进行循环经济政策实体关系抽取研究,以构建该政策领域的知识图谱。研究结果表明,PLLM-RE框架在循环经济政策实体关系抽取任务上的性能优于对比模型BiLSTM-ATT、PCNN、BERT以及ALBERT,验证了所提框架在循环经济政策实体关系抽取任务上的适配性和优越性,为后续循环经济领域资源的信息挖掘和政策分析提供了新思路。展开更多
随着深度学习技术的不断发展,大型语言模型(Large Language Models,LLM)在自然语言处理(Natural Language Processing,NLP)领域取得了显著成就。通用人工智能概念以及ChatGPT的爆火使得LLM进入了各行各业的视线,这些模型通常基于Transfo...随着深度学习技术的不断发展,大型语言模型(Large Language Models,LLM)在自然语言处理(Natural Language Processing,NLP)领域取得了显著成就。通用人工智能概念以及ChatGPT的爆火使得LLM进入了各行各业的视线,这些模型通常基于Transformer架构,能够处理和生成大量文本数据,表现出了强大的语言理解和生成能力。旨在以GPT系列、BERT系列和LLaMA系列为主线,概述LLM的发展现状和主要成果,介绍其主要的技术原理,分析其面临的诸多挑战和争议以及发展方向。展开更多
在自然语言处理领域的下游任务中,具有代表性的双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers)BERT呈现出非常出色的性能。为了解决预训练模型的预训练阶段任务和下游任务不一致,利用...在自然语言处理领域的下游任务中,具有代表性的双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers)BERT呈现出非常出色的性能。为了解决预训练模型的预训练阶段任务和下游任务不一致,利用提示学习的修改策略以及自注意力机制的方法,构建新的掩盖训练任务,在官方的中文BERT预训练模型的基础上再训练。这样不仅能运用到预训练任务获得的知识,而且可以针对性的对下游任务上进行提升,最终加强模型的抗干扰能力以及学习效率。研究结果表明:相较RoBERTa和BERT,在数据集THUCNews和TNEWS上这种模型能达更高的分数。展开更多
文摘实体关系抽取是构建大规模知识图谱和专业领域数据集的重要基础之一,为此提出了一种基于预训练大语言模型的实体关系抽取框架(entity relation extraction framework based on pre-trained large language model, PLLM-RE),并针对循环经济政策进行了实体关系抽取研究。基于所提出的PLLM-RE框架,首先使用RoBERTa模型进行循环经济政策文本的实体识别,然后选取基于Transformer的双向编码器表示(bidirectional encoder representation from Transformers, BERT)模型进行循环经济政策实体关系抽取研究,以构建该政策领域的知识图谱。研究结果表明,PLLM-RE框架在循环经济政策实体关系抽取任务上的性能优于对比模型BiLSTM-ATT、PCNN、BERT以及ALBERT,验证了所提框架在循环经济政策实体关系抽取任务上的适配性和优越性,为后续循环经济领域资源的信息挖掘和政策分析提供了新思路。
文摘随着深度学习技术的不断发展,大型语言模型(Large Language Models,LLM)在自然语言处理(Natural Language Processing,NLP)领域取得了显著成就。通用人工智能概念以及ChatGPT的爆火使得LLM进入了各行各业的视线,这些模型通常基于Transformer架构,能够处理和生成大量文本数据,表现出了强大的语言理解和生成能力。旨在以GPT系列、BERT系列和LLaMA系列为主线,概述LLM的发展现状和主要成果,介绍其主要的技术原理,分析其面临的诸多挑战和争议以及发展方向。
文摘在自然语言处理领域的下游任务中,具有代表性的双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers)BERT呈现出非常出色的性能。为了解决预训练模型的预训练阶段任务和下游任务不一致,利用提示学习的修改策略以及自注意力机制的方法,构建新的掩盖训练任务,在官方的中文BERT预训练模型的基础上再训练。这样不仅能运用到预训练任务获得的知识,而且可以针对性的对下游任务上进行提升,最终加强模型的抗干扰能力以及学习效率。研究结果表明:相较RoBERTa和BERT,在数据集THUCNews和TNEWS上这种模型能达更高的分数。
