在定制化应用场景下亟需提升大语言模型(Large language models,LLMs)在特定垂直领域的语言理解和生成能力。本文提出一种适用于垂直领域的大语言模型系统开发范式——武信。其涵盖架构、数据、模型和训练等大语言模型系统的系列开发方...在定制化应用场景下亟需提升大语言模型(Large language models,LLMs)在特定垂直领域的语言理解和生成能力。本文提出一种适用于垂直领域的大语言模型系统开发范式——武信。其涵盖架构、数据、模型和训练等大语言模型系统的系列开发方法,利用人在回路的数据增强提升军事训练伤问答数据集的质量,采用梯度低秩投影(GaLore)策略对轻量级基座大语言模型进行高效全参微调。实验结果表明,所采用的全参微调方法在收敛性和准确性指标上优于主流的LoRA微调,所训练的武信大模型在军事训练伤防治专业知识理解、克服“幻觉”等方面优势明显,相关成果可为垂直领域问答大模型系统设计与应用提供参考。展开更多
大型语言模型(Large Language Model,LLM)在处理常规语言指令方面表现出色,但是处理印刷领域相关专业问题的能力还有待提升。本研究通过构建高质量的印刷领域微调数据集对开源LLM进行微调优化,利用清晰的微调提示词引导模型生成符合期...大型语言模型(Large Language Model,LLM)在处理常规语言指令方面表现出色,但是处理印刷领域相关专业问题的能力还有待提升。本研究通过构建高质量的印刷领域微调数据集对开源LLM进行微调优化,利用清晰的微调提示词引导模型生成符合期望的回答。基于此,设计了一个针对印刷领域应用场景的服务型LLM,借助定制化训练提高其在印刷领域的表现能力。该过程主要涉及两项关键工作:通过收集、清洗、标注和扩增数据等方法,构建一个印刷领域微调数据集;选择Qwen-7B-Chat作为基座模型进行监督式微调,结合LoRA方法以实现参数高效的任务适应,并借助AdamW优化器策略对LLM的微调训练过程进行优化。验证结果表明,微调后的Qwen-7B-Chat模型相较原模型在回答长度上提升了约302.92%,并在回答质量评估环节保持了更高的满意率。展开更多
随着人工智能技术的快速发展,大语言模型(Large language models,LLMs)在多个领域的应用日益广泛。然而,航空发动机领域由于缺乏高质量的人工编写问答数据集,限制了专家问答大模型的应用。本文提出了一种基于LLMs的问答数据集自动化构...随着人工智能技术的快速发展,大语言模型(Large language models,LLMs)在多个领域的应用日益广泛。然而,航空发动机领域由于缺乏高质量的人工编写问答数据集,限制了专家问答大模型的应用。本文提出了一种基于LLMs的问答数据集自动化构建方法,该方法无需人工干预即可生成高质量的开放式问答数据。在数据生成阶段,采用上下文学习方法和输入优先生成策略,增强了生成数据的稳定性;在数据过滤阶段,通过原文相似度的忠实度评估和大模型的语义质量评估,建立了数据质量自动评估机制,有效筛选出受幻觉影响的异常数据,确保数据的事实可靠性。实验结果表明,该方法显著提升了生成数据集的质量,经过指令微调后的模型在航空发动机领域的知识问答表现显著提升。本文的研究成果不仅为航空发动机领域的大模型应用提供了坚实基础,也为其他复杂工程领域的数据集自动化构建提供了参考。展开更多
文摘在定制化应用场景下亟需提升大语言模型(Large language models,LLMs)在特定垂直领域的语言理解和生成能力。本文提出一种适用于垂直领域的大语言模型系统开发范式——武信。其涵盖架构、数据、模型和训练等大语言模型系统的系列开发方法,利用人在回路的数据增强提升军事训练伤问答数据集的质量,采用梯度低秩投影(GaLore)策略对轻量级基座大语言模型进行高效全参微调。实验结果表明,所采用的全参微调方法在收敛性和准确性指标上优于主流的LoRA微调,所训练的武信大模型在军事训练伤防治专业知识理解、克服“幻觉”等方面优势明显,相关成果可为垂直领域问答大模型系统设计与应用提供参考。
文摘大型语言模型(Large Language Model,LLM)在处理常规语言指令方面表现出色,但是处理印刷领域相关专业问题的能力还有待提升。本研究通过构建高质量的印刷领域微调数据集对开源LLM进行微调优化,利用清晰的微调提示词引导模型生成符合期望的回答。基于此,设计了一个针对印刷领域应用场景的服务型LLM,借助定制化训练提高其在印刷领域的表现能力。该过程主要涉及两项关键工作:通过收集、清洗、标注和扩增数据等方法,构建一个印刷领域微调数据集;选择Qwen-7B-Chat作为基座模型进行监督式微调,结合LoRA方法以实现参数高效的任务适应,并借助AdamW优化器策略对LLM的微调训练过程进行优化。验证结果表明,微调后的Qwen-7B-Chat模型相较原模型在回答长度上提升了约302.92%,并在回答质量评估环节保持了更高的满意率。
文摘随着人工智能技术的快速发展,大语言模型(Large language models,LLMs)在多个领域的应用日益广泛。然而,航空发动机领域由于缺乏高质量的人工编写问答数据集,限制了专家问答大模型的应用。本文提出了一种基于LLMs的问答数据集自动化构建方法,该方法无需人工干预即可生成高质量的开放式问答数据。在数据生成阶段,采用上下文学习方法和输入优先生成策略,增强了生成数据的稳定性;在数据过滤阶段,通过原文相似度的忠实度评估和大模型的语义质量评估,建立了数据质量自动评估机制,有效筛选出受幻觉影响的异常数据,确保数据的事实可靠性。实验结果表明,该方法显著提升了生成数据集的质量,经过指令微调后的模型在航空发动机领域的知识问答表现显著提升。本文的研究成果不仅为航空发动机领域的大模型应用提供了坚实基础,也为其他复杂工程领域的数据集自动化构建提供了参考。
