在定制化应用场景下亟需提升大语言模型(Large language models,LLMs)在特定垂直领域的语言理解和生成能力。本文提出一种适用于垂直领域的大语言模型系统开发范式——武信。其涵盖架构、数据、模型和训练等大语言模型系统的系列开发方...在定制化应用场景下亟需提升大语言模型(Large language models,LLMs)在特定垂直领域的语言理解和生成能力。本文提出一种适用于垂直领域的大语言模型系统开发范式——武信。其涵盖架构、数据、模型和训练等大语言模型系统的系列开发方法,利用人在回路的数据增强提升军事训练伤问答数据集的质量,采用梯度低秩投影(GaLore)策略对轻量级基座大语言模型进行高效全参微调。实验结果表明,所采用的全参微调方法在收敛性和准确性指标上优于主流的LoRA微调,所训练的武信大模型在军事训练伤防治专业知识理解、克服“幻觉”等方面优势明显,相关成果可为垂直领域问答大模型系统设计与应用提供参考。展开更多
文摘在定制化应用场景下亟需提升大语言模型(Large language models,LLMs)在特定垂直领域的语言理解和生成能力。本文提出一种适用于垂直领域的大语言模型系统开发范式——武信。其涵盖架构、数据、模型和训练等大语言模型系统的系列开发方法,利用人在回路的数据增强提升军事训练伤问答数据集的质量,采用梯度低秩投影(GaLore)策略对轻量级基座大语言模型进行高效全参微调。实验结果表明,所采用的全参微调方法在收敛性和准确性指标上优于主流的LoRA微调,所训练的武信大模型在军事训练伤防治专业知识理解、克服“幻觉”等方面优势明显,相关成果可为垂直领域问答大模型系统设计与应用提供参考。
