[目的/意义]大语言模型(Large Language Models,LLMs)依托其强大的认知理解和内容生成能力,发展迅速,有望成为智慧农业领域一种全新的研究范式。然而,由于通用LLMs缺乏农业领域知识,对于专业性问题通常会产生事实性错误或信息不完备的...[目的/意义]大语言模型(Large Language Models,LLMs)依托其强大的认知理解和内容生成能力,发展迅速,有望成为智慧农业领域一种全新的研究范式。然而,由于通用LLMs缺乏农业领域知识,对于专业性问题通常会产生事实性错误或信息不完备的回复。为提升大模型在农业领域的适应性,本研究提出了一种知识图谱引导的农业LLMs--KGLLM。[方法]该模型基于信息熵实现知识过滤,并在解码阶段显式利用知识图谱的语义信息约束其内容生成。具体而言,将输入问题中的关键实体链接到农业知识图谱,形成知识推理路径和问答依据。为保证此外源知识的有效性,进一步评估引入每条知识前后模型输出内容的熵差,对无法提升答案确定性的知识进行过滤。经筛选的知识路径将被用于调整词表概率,以增加与知识高度相关词的输出,实现知识图谱对LLMs的显式引导。[结果和讨论]本研究在5种主流的通用LLMs上实现了农业知识图谱引导技术,包括Baichuan、ChatGLM、Qwen等开源大模型,同时与最优的知识图谱检索增强生成技术进行了对比。实验结果表明,本研究提出的方法在内容流畅性、准确性、真实性和领域忠诚度方面都有显著提升,相较于GPT-4o,在Mean BLEU、ROUGE、BertScore上分别平均提升了2.5923、2.8151和9.84%。通过消融实验亦证明了知识引导的农业LLMs不仅实现了冗余知识过滤,而且在解码过程中可有效调整词表输出分布,有助于提升通用LLMs在农业领域的适应性及问答的可解释性。[结论]本研究为后续农业LLMs的构建提供了可借鉴思路,表明知识图谱引导的方法在提升模型的领域适应性和回答质量具有潜在的应用价值。展开更多
文摘[目的/意义]大语言模型(Large Language Models,LLMs)依托其强大的认知理解和内容生成能力,发展迅速,有望成为智慧农业领域一种全新的研究范式。然而,由于通用LLMs缺乏农业领域知识,对于专业性问题通常会产生事实性错误或信息不完备的回复。为提升大模型在农业领域的适应性,本研究提出了一种知识图谱引导的农业LLMs--KGLLM。[方法]该模型基于信息熵实现知识过滤,并在解码阶段显式利用知识图谱的语义信息约束其内容生成。具体而言,将输入问题中的关键实体链接到农业知识图谱,形成知识推理路径和问答依据。为保证此外源知识的有效性,进一步评估引入每条知识前后模型输出内容的熵差,对无法提升答案确定性的知识进行过滤。经筛选的知识路径将被用于调整词表概率,以增加与知识高度相关词的输出,实现知识图谱对LLMs的显式引导。[结果和讨论]本研究在5种主流的通用LLMs上实现了农业知识图谱引导技术,包括Baichuan、ChatGLM、Qwen等开源大模型,同时与最优的知识图谱检索增强生成技术进行了对比。实验结果表明,本研究提出的方法在内容流畅性、准确性、真实性和领域忠诚度方面都有显著提升,相较于GPT-4o,在Mean BLEU、ROUGE、BertScore上分别平均提升了2.5923、2.8151和9.84%。通过消融实验亦证明了知识引导的农业LLMs不仅实现了冗余知识过滤,而且在解码过程中可有效调整词表输出分布,有助于提升通用LLMs在农业领域的适应性及问答的可解释性。[结论]本研究为后续农业LLMs的构建提供了可借鉴思路,表明知识图谱引导的方法在提升模型的领域适应性和回答质量具有潜在的应用价值。
