随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,...随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。展开更多
随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息...随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。展开更多
基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成...基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成(MSRAG)方法。首先,根据用户输入的查询特点自适应地匹配检索模型来召回相关文本;其次,利用文本过滤器提取出能够回答问题的关键文本片段;再次,使用文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写,并将初始查询与改写后的信息合并输入检索控制器以进行更有针对性的再次检索;最后,合并能够回答问题的关键文本片段和问题,并使用提示工程输入生成答案模型来生成响应返回给用户。实验结果表明,MSRAG方法在军事领域数据集(Military)和Medical数据集的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence)指标上相较于凸线性组合RAG方法分别提高了14.35和5.83个百分点。可见,MSRAG方法具备较强的通用性和可移植性,能够缓解非必要查询改写导致的语义漂移现象,有效帮助大模型生成更准确的答案。展开更多
[目的/意义]大语言模型(Large Language Model,LLM)正在引领信息检索领域经历从简单的文档检索走向全面满足用户信息需求的新阶段,审视和探讨LLM在这一转型过程中的演化趋势及其未来发展,对于LLM赋能信息检索领域的理论模式创新与实践...[目的/意义]大语言模型(Large Language Model,LLM)正在引领信息检索领域经历从简单的文档检索走向全面满足用户信息需求的新阶段,审视和探讨LLM在这一转型过程中的演化趋势及其未来发展,对于LLM赋能信息检索领域的理论模式创新与实践应用延展有着重要意义。[研究设计/方法]研究选取信息检索领域的多个前沿学科会议,通过主题以及知识关联演化的双重视角分析,深入探究LLM等前沿技术如何推动信息检索领域的演化发展、知识重构以及创新应用,进而揭示在LLM影响下信息检索领域的未来发展方向。[结论/发现]受LLM驱动,信息检索领域的研究主题和知识结构正经历演变。研究范式层面注重人机协同新理念、技术伦理的重视、用户体验增强带来的范式融合。研究技术层面注重LLM的高效检索模型架构与工作流程优化、轻量级语言模型与LLM的协同发展以及LLM的开源及平权发展。然而,LLM赋能信息检索领域仍面临技术评测有效性困难、生成内容的可靠性存疑以及社会应用的复杂性较高等挑战。[创新/价值]将细粒度的知识关联网络引入演化分析框架,创新技术赋能领域研究的多维分析视角。同时从数据层面厘清和揭示信息检索领域的演化规律,明确领域未来发展。展开更多
文摘随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。
文摘随着互联网中多模态数据的快速增长,跨模态检索技术受到了广泛关注。然而,现实中一些多模态数据存在语义信息缺失,导致模型难以准确提取出其中蕴涵的语义特征。此外,一些多模态数据还包含了与语义无关的冗余信息,干扰了模型对关键信息的提取。为此,提出了一种基于信息互补与交叉注意力(ICCA)的跨模态检索方法。该方法利用图卷积网络(GCN)建模多标签和数据之间的关系,以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外,交叉注意力子模块利用多标签信息,过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配,还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中,用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验,实验结果表明,ICCA在这些数据集上的平均精度均值(mean average precision,mAP)分别为0.808、0.859和0.837,显著优于现有方法。
文摘基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成(MSRAG)方法。首先,根据用户输入的查询特点自适应地匹配检索模型来召回相关文本;其次,利用文本过滤器提取出能够回答问题的关键文本片段;再次,使用文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写,并将初始查询与改写后的信息合并输入检索控制器以进行更有针对性的再次检索;最后,合并能够回答问题的关键文本片段和问题,并使用提示工程输入生成答案模型来生成响应返回给用户。实验结果表明,MSRAG方法在军事领域数据集(Military)和Medical数据集的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence)指标上相较于凸线性组合RAG方法分别提高了14.35和5.83个百分点。可见,MSRAG方法具备较强的通用性和可移植性,能够缓解非必要查询改写导致的语义漂移现象,有效帮助大模型生成更准确的答案。
文摘[目的/意义]大语言模型(Large Language Model,LLM)正在引领信息检索领域经历从简单的文档检索走向全面满足用户信息需求的新阶段,审视和探讨LLM在这一转型过程中的演化趋势及其未来发展,对于LLM赋能信息检索领域的理论模式创新与实践应用延展有着重要意义。[研究设计/方法]研究选取信息检索领域的多个前沿学科会议,通过主题以及知识关联演化的双重视角分析,深入探究LLM等前沿技术如何推动信息检索领域的演化发展、知识重构以及创新应用,进而揭示在LLM影响下信息检索领域的未来发展方向。[结论/发现]受LLM驱动,信息检索领域的研究主题和知识结构正经历演变。研究范式层面注重人机协同新理念、技术伦理的重视、用户体验增强带来的范式融合。研究技术层面注重LLM的高效检索模型架构与工作流程优化、轻量级语言模型与LLM的协同发展以及LLM的开源及平权发展。然而,LLM赋能信息检索领域仍面临技术评测有效性困难、生成内容的可靠性存疑以及社会应用的复杂性较高等挑战。[创新/价值]将细粒度的知识关联网络引入演化分析框架,创新技术赋能领域研究的多维分析视角。同时从数据层面厘清和揭示信息检索领域的演化规律,明确领域未来发展。
