随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,...随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。展开更多
[目的/意义]大语言模型(Large Language Model,LLM)正在引领信息检索领域经历从简单的文档检索走向全面满足用户信息需求的新阶段,审视和探讨LLM在这一转型过程中的演化趋势及其未来发展,对于LLM赋能信息检索领域的理论模式创新与实践...[目的/意义]大语言模型(Large Language Model,LLM)正在引领信息检索领域经历从简单的文档检索走向全面满足用户信息需求的新阶段,审视和探讨LLM在这一转型过程中的演化趋势及其未来发展,对于LLM赋能信息检索领域的理论模式创新与实践应用延展有着重要意义。[研究设计/方法]研究选取信息检索领域的多个前沿学科会议,通过主题以及知识关联演化的双重视角分析,深入探究LLM等前沿技术如何推动信息检索领域的演化发展、知识重构以及创新应用,进而揭示在LLM影响下信息检索领域的未来发展方向。[结论/发现]受LLM驱动,信息检索领域的研究主题和知识结构正经历演变。研究范式层面注重人机协同新理念、技术伦理的重视、用户体验增强带来的范式融合。研究技术层面注重LLM的高效检索模型架构与工作流程优化、轻量级语言模型与LLM的协同发展以及LLM的开源及平权发展。然而,LLM赋能信息检索领域仍面临技术评测有效性困难、生成内容的可靠性存疑以及社会应用的复杂性较高等挑战。[创新/价值]将细粒度的知识关联网络引入演化分析框架,创新技术赋能领域研究的多维分析视角。同时从数据层面厘清和揭示信息检索领域的演化规律,明确领域未来发展。展开更多
信息检索(IR)是一种通过特定的技术和方法组织、处理信息,以满足用户的信息需求的过程。近年来,基于预训练模型的稠密检索方法取得了巨大的成功;然而,这些方法只利用了文本和词语的向量表征计算查询与文档相关度,忽略了它们短语层面间...信息检索(IR)是一种通过特定的技术和方法组织、处理信息,以满足用户的信息需求的过程。近年来,基于预训练模型的稠密检索方法取得了巨大的成功;然而,这些方法只利用了文本和词语的向量表征计算查询与文档相关度,忽略了它们短语层面间的语义信息。针对该问题,提出一种名为MSIR(Multi-Scale IR)的IR方法。所提方法通过融合查询与文档中多种不同粒度的语义信息提高IR性能。首先,构建查询和文档中词语、短语和文本这3个粒度的语义单元;其次,利用预训练模型对这3个语义单元分别进行编码获得它们的语义表征;最后,利用语义表征计算查询和文档相关度。在Corvid-19、TREC2019和Robust04这3个不同大小的经典数据集上进行了对比实验。与ColBERT(ranking model based on Contextualized late interaction over BERT(Bidirectional Encoder Representation from Transformers))相比,MSIR在Robust04数据集的P@10、P@20、NDCG@10和NDCG@20指标上均实现了约8%的提升,同时在Corvid-19和TREC2019数据集上也取得了一定的改进。实验结果表明,MSIR能够成功融合多种语义粒度,提升检索精度。展开更多
文摘随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。
文摘[目的/意义]大语言模型(Large Language Model,LLM)正在引领信息检索领域经历从简单的文档检索走向全面满足用户信息需求的新阶段,审视和探讨LLM在这一转型过程中的演化趋势及其未来发展,对于LLM赋能信息检索领域的理论模式创新与实践应用延展有着重要意义。[研究设计/方法]研究选取信息检索领域的多个前沿学科会议,通过主题以及知识关联演化的双重视角分析,深入探究LLM等前沿技术如何推动信息检索领域的演化发展、知识重构以及创新应用,进而揭示在LLM影响下信息检索领域的未来发展方向。[结论/发现]受LLM驱动,信息检索领域的研究主题和知识结构正经历演变。研究范式层面注重人机协同新理念、技术伦理的重视、用户体验增强带来的范式融合。研究技术层面注重LLM的高效检索模型架构与工作流程优化、轻量级语言模型与LLM的协同发展以及LLM的开源及平权发展。然而,LLM赋能信息检索领域仍面临技术评测有效性困难、生成内容的可靠性存疑以及社会应用的复杂性较高等挑战。[创新/价值]将细粒度的知识关联网络引入演化分析框架,创新技术赋能领域研究的多维分析视角。同时从数据层面厘清和揭示信息检索领域的演化规律,明确领域未来发展。
文摘信息检索(IR)是一种通过特定的技术和方法组织、处理信息,以满足用户的信息需求的过程。近年来,基于预训练模型的稠密检索方法取得了巨大的成功;然而,这些方法只利用了文本和词语的向量表征计算查询与文档相关度,忽略了它们短语层面间的语义信息。针对该问题,提出一种名为MSIR(Multi-Scale IR)的IR方法。所提方法通过融合查询与文档中多种不同粒度的语义信息提高IR性能。首先,构建查询和文档中词语、短语和文本这3个粒度的语义单元;其次,利用预训练模型对这3个语义单元分别进行编码获得它们的语义表征;最后,利用语义表征计算查询和文档相关度。在Corvid-19、TREC2019和Robust04这3个不同大小的经典数据集上进行了对比实验。与ColBERT(ranking model based on Contextualized late interaction over BERT(Bidirectional Encoder Representation from Transformers))相比,MSIR在Robust04数据集的P@10、P@20、NDCG@10和NDCG@20指标上均实现了约8%的提升,同时在Corvid-19和TREC2019数据集上也取得了一定的改进。实验结果表明,MSIR能够成功融合多种语义粒度,提升检索精度。
