以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但...以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但是,这些方法存在如知识图谱构建复杂、语义丢失以及知识单向流动等问题。为此,我们提出了一种双向增强框架,不仅利用知识图谱增强LLMs的生成效果,而且利用LLMs的推理结果补充知识图谱,从而形成知识的双向流动,并最终形成知识图谱与LLMs之间的循环正反馈,不断优化系统效果。此外,通过设计增强知识图谱(Enhanced Knowledge Graph,EKG),我们将关系抽取任务延迟到检索阶段,降低知识图谱的构建成本,并利用向量检索技术缓解语义丢失问题。基于此框架,本文构建了双向增强系统——BEKO(Bidirectional Enhancement with a Knowledge Ocean)系统,并在关系推理应用中相比传统方法取得明显的性能提升,验证了双向增强框架的可行性和有效性。BEKO系统目前已经部署在公开的网站——ko.zhonghuapu.com。展开更多
大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提...大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提升LLMs的推理能力。本文以如何提升LLMs在会计领域的推理能力为起点,提出会计垂域推理能力的概念、研究路径、评测标准,分析中文开源模型清华智谱的GLM系列的评测结果,为后续的推理研究提供标准范式,并为如何提升会计推理能力提供评价标准,力图推动LLMs在会计领域达到应有水平。同时,为验证LLMs的会计推理能力,本文比较了GLM-6B、GLM-130B、GLM-4在算术推理能力和会计常识推理能力方面的差别,并将OPENAI的GPT-4作为基准进行分析。结果表明,在不同推理提示工程下,模型规模显著影响推理能力,虽然各种模型算术推理能力已经得到极大的提高,但是会计推理能力还远不能达到应用水平,需要在应用中逐层优化,研究为LLMs会计垂域进入应用实践的优化过程提供参考。展开更多
文摘以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但是,这些方法存在如知识图谱构建复杂、语义丢失以及知识单向流动等问题。为此,我们提出了一种双向增强框架,不仅利用知识图谱增强LLMs的生成效果,而且利用LLMs的推理结果补充知识图谱,从而形成知识的双向流动,并最终形成知识图谱与LLMs之间的循环正反馈,不断优化系统效果。此外,通过设计增强知识图谱(Enhanced Knowledge Graph,EKG),我们将关系抽取任务延迟到检索阶段,降低知识图谱的构建成本,并利用向量检索技术缓解语义丢失问题。基于此框架,本文构建了双向增强系统——BEKO(Bidirectional Enhancement with a Knowledge Ocean)系统,并在关系推理应用中相比传统方法取得明显的性能提升,验证了双向增强框架的可行性和有效性。BEKO系统目前已经部署在公开的网站——ko.zhonghuapu.com。
文摘大语言模型(Large Language Models,LLMs)目前正在重塑各行各业的学习方式、思维模式和研究范式。如何使LLMs与行业结合、重构LLMs与行业的关系,是推动企业数字化变革和社会发展的重要命题。要实现LLMs在垂域发挥重要作用,最重要的是提升LLMs的推理能力。本文以如何提升LLMs在会计领域的推理能力为起点,提出会计垂域推理能力的概念、研究路径、评测标准,分析中文开源模型清华智谱的GLM系列的评测结果,为后续的推理研究提供标准范式,并为如何提升会计推理能力提供评价标准,力图推动LLMs在会计领域达到应有水平。同时,为验证LLMs的会计推理能力,本文比较了GLM-6B、GLM-130B、GLM-4在算术推理能力和会计常识推理能力方面的差别,并将OPENAI的GPT-4作为基准进行分析。结果表明,在不同推理提示工程下,模型规模显著影响推理能力,虽然各种模型算术推理能力已经得到极大的提高,但是会计推理能力还远不能达到应用水平,需要在应用中逐层优化,研究为LLMs会计垂域进入应用实践的优化过程提供参考。
