以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但...以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但是,这些方法存在如知识图谱构建复杂、语义丢失以及知识单向流动等问题。为此,我们提出了一种双向增强框架,不仅利用知识图谱增强LLMs的生成效果,而且利用LLMs的推理结果补充知识图谱,从而形成知识的双向流动,并最终形成知识图谱与LLMs之间的循环正反馈,不断优化系统效果。此外,通过设计增强知识图谱(Enhanced Knowledge Graph,EKG),我们将关系抽取任务延迟到检索阶段,降低知识图谱的构建成本,并利用向量检索技术缓解语义丢失问题。基于此框架,本文构建了双向增强系统——BEKO(Bidirectional Enhancement with a Knowledge Ocean)系统,并在关系推理应用中相比传统方法取得明显的性能提升,验证了双向增强框架的可行性和有效性。BEKO系统目前已经部署在公开的网站——ko.zhonghuapu.com。展开更多
大语言模型(LLMs,Large Language Models)具有极强的自然语言理解和复杂问题求解能力,本文基于大语言模型构建了矿物问答系统,以高效地获取矿物知识。该系统首先从互联网资源获取矿物数据,清洗后将矿物数据结构化为矿物文档和问答对;将...大语言模型(LLMs,Large Language Models)具有极强的自然语言理解和复杂问题求解能力,本文基于大语言模型构建了矿物问答系统,以高效地获取矿物知识。该系统首先从互联网资源获取矿物数据,清洗后将矿物数据结构化为矿物文档和问答对;将矿物文档经过格式转换和建立索引后转化为矿物知识库,用于检索增强大语言模型生成,问答对用于微调大语言模型。使用矿物知识库检索增强大语言模型生成时,采用先召回再精排的两级检索模式,以获得更好的大语言模型生成结果。矿物大语言模型微调采用了主流的低秩适配(Low-Rank Adaption,LoRA)方法,以较少的训练参数获得了与全参微调性能相当的效果,节省了计算资源。实验结果表明,基于检索增强生成的大语言模型的矿物问答系统能以较高的准确率快捷地获取矿物知识。展开更多
随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,...随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。展开更多
针对洪涝灾害应急管理中需实时更新防汛领域知识库的需求,该文通过LangChain框架结合外部防汛领域知识库与大语言模型,提出了基于实时知识库的洪涝应急决策智能问答模型LR-GLM(LangChain RAG Generative Language Model)。该模型集成了R...针对洪涝灾害应急管理中需实时更新防汛领域知识库的需求,该文通过LangChain框架结合外部防汛领域知识库与大语言模型,提出了基于实时知识库的洪涝应急决策智能问答模型LR-GLM(LangChain RAG Generative Language Model)。该模型集成了RAG(Retrieval-augmented Generation)技术,通过向量匹配机制并结合微调后的ChatGLM2(Chat Generative Language Model 2)模型生成回答。以湖北省随县洪涝灾害应急演练为案例,采用人工评估和自动评估,验证模型的有效性。结果表明:该模型在多轮回答及复杂决策场景下表现优异,能够快速响应并提供针对现场态势的答案,有效提升了应急智能问答的准确性和实时性,有利于应急指挥团队制定更高效切实可行的洪涝灾害应急方案。展开更多
大语言模型(large language model,LLM)随着不断发展,在开放领域取得了出色的表现.然而,由于缺乏专业知识,LLM在垂直领域问答任务上效果较差.这一问题引发了研究者的广泛关注.现有研究通过“检索-问答”的方式,将领域知识注入大语言模型...大语言模型(large language model,LLM)随着不断发展,在开放领域取得了出色的表现.然而,由于缺乏专业知识,LLM在垂直领域问答任务上效果较差.这一问题引发了研究者的广泛关注.现有研究通过“检索-问答”的方式,将领域知识注入大语言模型,以增强其性能.然而该方式通常会检索到额外的噪声数据而导致LLM的性能损失.为了解决该问题,提出基于知识相关性的知识图谱问答方法.具体而言,将噪声数据与回答问题所需要的知识进行区分,在“检索-相关性评估-问答”的框架下,引导大语言模型选择合理的知识做出正确的回答.此外,提出一个机械领域知识图谱问答的数据集Mecha-QA,包含传统机械制造以及增材制造两个子领域,以推进该领域大语言模型与知识图谱问答相关的研究.为了验证所提方法的有效性,在Mecha-QA和航空航天领域数据集Aero-QA上进行实验.结果表明,该方法可以显著提升大语言模型在垂直领域知识图谱问答的性能.展开更多
文摘以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但是,这些方法存在如知识图谱构建复杂、语义丢失以及知识单向流动等问题。为此,我们提出了一种双向增强框架,不仅利用知识图谱增强LLMs的生成效果,而且利用LLMs的推理结果补充知识图谱,从而形成知识的双向流动,并最终形成知识图谱与LLMs之间的循环正反馈,不断优化系统效果。此外,通过设计增强知识图谱(Enhanced Knowledge Graph,EKG),我们将关系抽取任务延迟到检索阶段,降低知识图谱的构建成本,并利用向量检索技术缓解语义丢失问题。基于此框架,本文构建了双向增强系统——BEKO(Bidirectional Enhancement with a Knowledge Ocean)系统,并在关系推理应用中相比传统方法取得明显的性能提升,验证了双向增强框架的可行性和有效性。BEKO系统目前已经部署在公开的网站——ko.zhonghuapu.com。
文摘大语言模型(LLMs,Large Language Models)具有极强的自然语言理解和复杂问题求解能力,本文基于大语言模型构建了矿物问答系统,以高效地获取矿物知识。该系统首先从互联网资源获取矿物数据,清洗后将矿物数据结构化为矿物文档和问答对;将矿物文档经过格式转换和建立索引后转化为矿物知识库,用于检索增强大语言模型生成,问答对用于微调大语言模型。使用矿物知识库检索增强大语言模型生成时,采用先召回再精排的两级检索模式,以获得更好的大语言模型生成结果。矿物大语言模型微调采用了主流的低秩适配(Low-Rank Adaption,LoRA)方法,以较少的训练参数获得了与全参微调性能相当的效果,节省了计算资源。实验结果表明,基于检索增强生成的大语言模型的矿物问答系统能以较高的准确率快捷地获取矿物知识。
文摘随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。
文摘针对洪涝灾害应急管理中需实时更新防汛领域知识库的需求,该文通过LangChain框架结合外部防汛领域知识库与大语言模型,提出了基于实时知识库的洪涝应急决策智能问答模型LR-GLM(LangChain RAG Generative Language Model)。该模型集成了RAG(Retrieval-augmented Generation)技术,通过向量匹配机制并结合微调后的ChatGLM2(Chat Generative Language Model 2)模型生成回答。以湖北省随县洪涝灾害应急演练为案例,采用人工评估和自动评估,验证模型的有效性。结果表明:该模型在多轮回答及复杂决策场景下表现优异,能够快速响应并提供针对现场态势的答案,有效提升了应急智能问答的准确性和实时性,有利于应急指挥团队制定更高效切实可行的洪涝灾害应急方案。
文摘大语言模型(large language model,LLM)随着不断发展,在开放领域取得了出色的表现.然而,由于缺乏专业知识,LLM在垂直领域问答任务上效果较差.这一问题引发了研究者的广泛关注.现有研究通过“检索-问答”的方式,将领域知识注入大语言模型,以增强其性能.然而该方式通常会检索到额外的噪声数据而导致LLM的性能损失.为了解决该问题,提出基于知识相关性的知识图谱问答方法.具体而言,将噪声数据与回答问题所需要的知识进行区分,在“检索-相关性评估-问答”的框架下,引导大语言模型选择合理的知识做出正确的回答.此外,提出一个机械领域知识图谱问答的数据集Mecha-QA,包含传统机械制造以及增材制造两个子领域,以推进该领域大语言模型与知识图谱问答相关的研究.为了验证所提方法的有效性,在Mecha-QA和航空航天领域数据集Aero-QA上进行实验.结果表明,该方法可以显著提升大语言模型在垂直领域知识图谱问答的性能.
