以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但...以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但是,这些方法存在如知识图谱构建复杂、语义丢失以及知识单向流动等问题。为此,我们提出了一种双向增强框架,不仅利用知识图谱增强LLMs的生成效果,而且利用LLMs的推理结果补充知识图谱,从而形成知识的双向流动,并最终形成知识图谱与LLMs之间的循环正反馈,不断优化系统效果。此外,通过设计增强知识图谱(Enhanced Knowledge Graph,EKG),我们将关系抽取任务延迟到检索阶段,降低知识图谱的构建成本,并利用向量检索技术缓解语义丢失问题。基于此框架,本文构建了双向增强系统——BEKO(Bidirectional Enhancement with a Knowledge Ocean)系统,并在关系推理应用中相比传统方法取得明显的性能提升,验证了双向增强框架的可行性和有效性。BEKO系统目前已经部署在公开的网站——ko.zhonghuapu.com。展开更多
基金国家自然科学基金(62272077,72301050)重庆市教委科技重大项目(KJZD-M202400604)资助+1 种基金the Natural ScienceFoundation of Chongqing,China(No.cstc2021jcyj msxmX0557)the MOE Layout Foundation of Humanities and Social Sciences,China(No.20YJAZH102).
文摘以ChatGPT为代表的大型语言模型(LLMs)在多种任务中展现了巨大潜力。然而,LLMs仍然面临幻觉现象和长尾知识遗忘等问题。为了解决这些问题,现有方法通过结合知识图谱等外部知识显著增强LLMs的生成能力,从而提升回答的准确性和完整性。但是,这些方法存在如知识图谱构建复杂、语义丢失以及知识单向流动等问题。为此,我们提出了一种双向增强框架,不仅利用知识图谱增强LLMs的生成效果,而且利用LLMs的推理结果补充知识图谱,从而形成知识的双向流动,并最终形成知识图谱与LLMs之间的循环正反馈,不断优化系统效果。此外,通过设计增强知识图谱(Enhanced Knowledge Graph,EKG),我们将关系抽取任务延迟到检索阶段,降低知识图谱的构建成本,并利用向量检索技术缓解语义丢失问题。基于此框架,本文构建了双向增强系统——BEKO(Bidirectional Enhancement with a Knowledge Ocean)系统,并在关系推理应用中相比传统方法取得明显的性能提升,验证了双向增强框架的可行性和有效性。BEKO系统目前已经部署在公开的网站——ko.zhonghuapu.com。
