提出并实现了一个本地轻量化课程教学智能辅助系统.该系统利用IPEX-LLM(Intel PyTorch extention for large language model)加速库,在计算资源受限的设备上高效部署并运行经过QLoRA(quantum-logic optimized resource allocation)框架...提出并实现了一个本地轻量化课程教学智能辅助系统.该系统利用IPEX-LLM(Intel PyTorch extention for large language model)加速库,在计算资源受限的设备上高效部署并运行经过QLoRA(quantum-logic optimized resource allocation)框架微调的大语言模型,并结合增强检索技术,实现了智能问答、智能出题、教学大纲生成、教学演示文档生成等4个主要功能模块的课程灵活定制,在帮助教师提高教学备课和授课的质量与效率、保护数据隐私的同时,支撑学生个性化学习并提供实时反馈.在性能实验中,以集成优化后的Chatglm3-6B模型为例,该系统处理64-token输出任务时仅需4.08 s,验证了其在资源受限环境下快速推理的能力.在实践案例分析中,通过与原生Chatgml-6B和ChatGPT4.0在功能实现上的对比,进一步表明了该系统具备优越的准确性和实用性.展开更多
随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,...随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。展开更多
得益于近期具有世界知识的大规模预训练模型的迅速发展,基于大模型的具身智能在各类任务中取得了良好的效果,展现出强大的泛化能力与在各领域内广阔的应用前景.鉴于此,对基于大模型的具身智能的工作进行了综述,首先,介绍大模型在具身智...得益于近期具有世界知识的大规模预训练模型的迅速发展,基于大模型的具身智能在各类任务中取得了良好的效果,展现出强大的泛化能力与在各领域内广阔的应用前景.鉴于此,对基于大模型的具身智能的工作进行了综述,首先,介绍大模型在具身智能系统中起到的感知与理解作用;其次,对大模型在具身智能中参与的需求级、任务级、规划级和动作级的控制进行了较为全面的总结;然后,对不同具身智能系统架构进行介绍,并总结了目前具身智能模型的数据来源,包括模拟器、模仿学习以及视频学习;最后,对基于大语言模型(Large language model,LLM)的具身智能系统面临的挑战与发展方向进行讨论与总结.展开更多
构建数字孪生水利建设知识图谱挖掘水利建设对象之间的潜在关系能够帮助相关人员优化水利建设设计方案和决策。针对数字孪生水利建设的学科交叉和知识结构复杂的特性,以及通用知识抽取模型缺乏对水利领域知识的学习和知识抽取精度不足...构建数字孪生水利建设知识图谱挖掘水利建设对象之间的潜在关系能够帮助相关人员优化水利建设设计方案和决策。针对数字孪生水利建设的学科交叉和知识结构复杂的特性,以及通用知识抽取模型缺乏对水利领域知识的学习和知识抽取精度不足等问题,为提高知识抽取的精度,提出一种基于大语言模型的数字孪生水利建设知识抽取方法(DTKE-LLM)。该方法通过LangChain部署本地大语言模型(LLM)并集成数字孪生水利领域知识,基于提示学习微调LLM,LLM利用语义理解和生成能力抽取知识,同时,设计异源实体对齐策略优化实体抽取结果。在水利领域语料库上进行对比实验和消融实验,以验证所提方法的有效性。对比实验结果表明,相较于基于深度学习的双向长短期记忆条件随机场(BiLSTM-CRF)命名实体识别模型和通用信息抽取模型UIE(Universal Information Extraction),DTKE-LLM的精确率更优;消融实验结果表明,相较于ChatGLM2-6B(Chat Generative Language Model 2.6 Billion),DTKE-LLM的实体抽取和关系抽取F1值分别提高了5.5和3.2个百分点。可见,该方法在保障知识图谱构建质量的基础上,实现了数字孪生水利建设知识图谱的构建。展开更多
随着大语言模型(LLM)的快速发展,基于LLM的对话助手逐渐成为学生学习的新方式。通过学生的问答互动,对话助手能生成相应的解答,从而帮助学生解决问题,并提高学习效率。然而,现有的对话助手忽略了学生的个性化需求,无法为学生提供个性化...随着大语言模型(LLM)的快速发展,基于LLM的对话助手逐渐成为学生学习的新方式。通过学生的问答互动,对话助手能生成相应的解答,从而帮助学生解决问题,并提高学习效率。然而,现有的对话助手忽略了学生的个性化需求,无法为学生提供个性化的回答,实现“因材施教”。因此,提出一种基于学生能力感知的个性化对话助手框架。该框架包括2个主要模块:学生能力感知模块和个性化回答生成模块。能力感知模块通过分析学生的答题记录来挖掘学生的知识掌握程度,回答生成模块则根据学生的能力生成个性化回答。基于此框架,设计基于指令、基于小模型驱动和基于智能体Agent的3种实现范式,以深入探讨框架的实际效果。基于指令的对话助手利用LLM的推理能力,从学生的答题记录中挖掘知识掌握程度以帮助生成个性化回答;基于小模型驱动的对话助手利用深度知识追踪(DKT)模型生成学生的知识掌握程度;基于Agent的个性化对话助手采用LLM Agent的方式整合学生能力感知、个性化检测、答案修正等工具辅助答案的生成。基于ChatGLM(Chat General Language Model)、GPT4o_mini的对比实验结果表明,应用3种范式的LLM均能为学生提供个性化的回答,其中基于Agent的范式的准确度更高,表明该范式能更好地感知学生能力,并生成个性化回答。展开更多
近年来,大语言模型(large language model,LLM)作为深度学习网络技术的关键分支,在自然语言处理(natural language processing,NLP)领域取得了一系列突破性成就,并被广泛采用.然而,在其包括预训练、微调和实际部署在内的完整生命周期中...近年来,大语言模型(large language model,LLM)作为深度学习网络技术的关键分支,在自然语言处理(natural language processing,NLP)领域取得了一系列突破性成就,并被广泛采用.然而,在其包括预训练、微调和实际部署在内的完整生命周期中,多种安全威胁和隐私泄露的风险相继被发现,引起了学术和工业界越来越多的关注.首先以LLM发展过程中出现的预训练-微调范式、预训练-提示学习范式和预训练-指令微调范式为线索,梳理了针对LLM的常规安全威胁,即3种对抗攻击(对抗样本攻击、后门攻击、投毒攻击)的代表性研究,接着总结了一些最新工作披露的新型安全威胁,然后介绍了LLM的隐私风险及其研究进展.相关内容有助于LLM的研究和部署者在模型设计、训练及应用过程中,识别、预防和缓解这些威胁与风险,同时实现模型性能与安全及隐私保护之间的平衡.展开更多
属性级情感分析作为一种细粒度情感分析方法,目前在许多应用场景中都具有重要作用.然而,随着社交媒体和在线评论的日益广泛以及各类新兴领域的出现,使得跨领域属性级情感分析面临着标签数据不足以及源领域与目标领域文本分布差异等挑战...属性级情感分析作为一种细粒度情感分析方法,目前在许多应用场景中都具有重要作用.然而,随着社交媒体和在线评论的日益广泛以及各类新兴领域的出现,使得跨领域属性级情感分析面临着标签数据不足以及源领域与目标领域文本分布差异等挑战.目前已有许多数据增强方法试图解决这些问题,但现有方法生成的文本仍存在语义不连贯、结构单一以及特征与源领域过于趋同等问题.为了克服这些问题,提出一种基于大语言模型(large language model,LLM)数据增强的跨领域属性级情感分析方法.所提方法利用大模型丰富的语言知识,合理构建针对跨领域属性级别情感分析任务的引导语句,挖掘目标领域与源领域相似文本,通过上下文学习的方式,使用领域关联关键词引导LLM生成目标领域有标签文本数据,用以解决目标领域数据缺乏以及领域特异性问题,从而有效提高跨领域属性级情感分析的准确性和鲁棒性.所提方法在多个真实数据集中进行实验,实验结果表明,该方法可以有效提升基线模型在跨领域属性级情感分析中的表现.展开更多
文摘提出并实现了一个本地轻量化课程教学智能辅助系统.该系统利用IPEX-LLM(Intel PyTorch extention for large language model)加速库,在计算资源受限的设备上高效部署并运行经过QLoRA(quantum-logic optimized resource allocation)框架微调的大语言模型,并结合增强检索技术,实现了智能问答、智能出题、教学大纲生成、教学演示文档生成等4个主要功能模块的课程灵活定制,在帮助教师提高教学备课和授课的质量与效率、保护数据隐私的同时,支撑学生个性化学习并提供实时反馈.在性能实验中,以集成优化后的Chatglm3-6B模型为例,该系统处理64-token输出任务时仅需4.08 s,验证了其在资源受限环境下快速推理的能力.在实践案例分析中,通过与原生Chatgml-6B和ChatGPT4.0在功能实现上的对比,进一步表明了该系统具备优越的准确性和实用性.
文摘随着全球气候变化日益严重,企业碳排放分析成为国际关注的焦点,针对通用大语言模型(large language model,LLM)知识更新滞后,增强生成架构在处理复杂问题时缺乏专业性与准确性,以及大模型生成结果中幻觉率高的问题,通过构建专有知识库,开发了基于大语言模型的企业碳排放分析与知识问答系统。提出了一种多样化索引模块构建方法,构建高质量的知识与法规检索数据集。针对碳排放报告(政策)领域的知识问答任务,提出了自提示检索增强生成架构,集成意图识别、改进的结构化思维链、混合检索技术、高质量提示工程和Text2SQL系统,支持多维度分析企业可持续性报告,为企业碳排放报告(政策)提供了一种高效、精准的知识问答解决方案。通过多层分块机制、文档索引和幻觉识别功能,确保结果的准确性与可验证性,降低了LLM技术在系统中的幻觉率。通过对比实验,所提算法在各模块的协同下在检索增强生成实验中各指标表现优异,对于企业碳排放报告的关键信息抽取和报告评价,尤其是长文本处理具有明显的优势。
文摘得益于近期具有世界知识的大规模预训练模型的迅速发展,基于大模型的具身智能在各类任务中取得了良好的效果,展现出强大的泛化能力与在各领域内广阔的应用前景.鉴于此,对基于大模型的具身智能的工作进行了综述,首先,介绍大模型在具身智能系统中起到的感知与理解作用;其次,对大模型在具身智能中参与的需求级、任务级、规划级和动作级的控制进行了较为全面的总结;然后,对不同具身智能系统架构进行介绍,并总结了目前具身智能模型的数据来源,包括模拟器、模仿学习以及视频学习;最后,对基于大语言模型(Large language model,LLM)的具身智能系统面临的挑战与发展方向进行讨论与总结.
文摘构建数字孪生水利建设知识图谱挖掘水利建设对象之间的潜在关系能够帮助相关人员优化水利建设设计方案和决策。针对数字孪生水利建设的学科交叉和知识结构复杂的特性,以及通用知识抽取模型缺乏对水利领域知识的学习和知识抽取精度不足等问题,为提高知识抽取的精度,提出一种基于大语言模型的数字孪生水利建设知识抽取方法(DTKE-LLM)。该方法通过LangChain部署本地大语言模型(LLM)并集成数字孪生水利领域知识,基于提示学习微调LLM,LLM利用语义理解和生成能力抽取知识,同时,设计异源实体对齐策略优化实体抽取结果。在水利领域语料库上进行对比实验和消融实验,以验证所提方法的有效性。对比实验结果表明,相较于基于深度学习的双向长短期记忆条件随机场(BiLSTM-CRF)命名实体识别模型和通用信息抽取模型UIE(Universal Information Extraction),DTKE-LLM的精确率更优;消融实验结果表明,相较于ChatGLM2-6B(Chat Generative Language Model 2.6 Billion),DTKE-LLM的实体抽取和关系抽取F1值分别提高了5.5和3.2个百分点。可见,该方法在保障知识图谱构建质量的基础上,实现了数字孪生水利建设知识图谱的构建。
文摘随着大语言模型(LLM)的快速发展,基于LLM的对话助手逐渐成为学生学习的新方式。通过学生的问答互动,对话助手能生成相应的解答,从而帮助学生解决问题,并提高学习效率。然而,现有的对话助手忽略了学生的个性化需求,无法为学生提供个性化的回答,实现“因材施教”。因此,提出一种基于学生能力感知的个性化对话助手框架。该框架包括2个主要模块:学生能力感知模块和个性化回答生成模块。能力感知模块通过分析学生的答题记录来挖掘学生的知识掌握程度,回答生成模块则根据学生的能力生成个性化回答。基于此框架,设计基于指令、基于小模型驱动和基于智能体Agent的3种实现范式,以深入探讨框架的实际效果。基于指令的对话助手利用LLM的推理能力,从学生的答题记录中挖掘知识掌握程度以帮助生成个性化回答;基于小模型驱动的对话助手利用深度知识追踪(DKT)模型生成学生的知识掌握程度;基于Agent的个性化对话助手采用LLM Agent的方式整合学生能力感知、个性化检测、答案修正等工具辅助答案的生成。基于ChatGLM(Chat General Language Model)、GPT4o_mini的对比实验结果表明,应用3种范式的LLM均能为学生提供个性化的回答,其中基于Agent的范式的准确度更高,表明该范式能更好地感知学生能力,并生成个性化回答。
文摘近年来,大语言模型(large language model,LLM)作为深度学习网络技术的关键分支,在自然语言处理(natural language processing,NLP)领域取得了一系列突破性成就,并被广泛采用.然而,在其包括预训练、微调和实际部署在内的完整生命周期中,多种安全威胁和隐私泄露的风险相继被发现,引起了学术和工业界越来越多的关注.首先以LLM发展过程中出现的预训练-微调范式、预训练-提示学习范式和预训练-指令微调范式为线索,梳理了针对LLM的常规安全威胁,即3种对抗攻击(对抗样本攻击、后门攻击、投毒攻击)的代表性研究,接着总结了一些最新工作披露的新型安全威胁,然后介绍了LLM的隐私风险及其研究进展.相关内容有助于LLM的研究和部署者在模型设计、训练及应用过程中,识别、预防和缓解这些威胁与风险,同时实现模型性能与安全及隐私保护之间的平衡.
文摘属性级情感分析作为一种细粒度情感分析方法,目前在许多应用场景中都具有重要作用.然而,随着社交媒体和在线评论的日益广泛以及各类新兴领域的出现,使得跨领域属性级情感分析面临着标签数据不足以及源领域与目标领域文本分布差异等挑战.目前已有许多数据增强方法试图解决这些问题,但现有方法生成的文本仍存在语义不连贯、结构单一以及特征与源领域过于趋同等问题.为了克服这些问题,提出一种基于大语言模型(large language model,LLM)数据增强的跨领域属性级情感分析方法.所提方法利用大模型丰富的语言知识,合理构建针对跨领域属性级别情感分析任务的引导语句,挖掘目标领域与源领域相似文本,通过上下文学习的方式,使用领域关联关键词引导LLM生成目标领域有标签文本数据,用以解决目标领域数据缺乏以及领域特异性问题,从而有效提高跨领域属性级情感分析的准确性和鲁棒性.所提方法在多个真实数据集中进行实验,实验结果表明,该方法可以有效提升基线模型在跨领域属性级情感分析中的表现.
