-
题名大语言模型参数高效微调技术综述
被引量：1
- 1
-
-
作者
秦董洪
李政韬
白凤波
董路宽
张慧
徐晨
-
机构
广西民族大学人工智能学院
-
出处
《计算机工程与应用》
北大核心
2025年第16期38-63,共26页
-
基金
广西壮族自治区中央引导地方科技发展资金项目(桂科ZY24212045)
广西科技基地和人才专项(桂科AD23026054)
+1 种基金
广西重点研发项目(桂科AB25069456)
广西民族大学科研基金(2023KJ0D32)。
-
文摘
近年来,自然语言处理领域的训练范式和模型规模发生显著变化,从特定任务的监督学习转向全量微调大规模预训练模型。然而,模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生,通过仅微调部分参数或引入少量新参数,显著降低成本并保持性能。对近年来参数高效微调技术中最具代表性和最前沿的方法进行了简要介绍和系统分析,涵盖设计理念与核心算法,并对不同方法的特性、优势、不足以及适用场景进行了归纳和分析,并进一步对比了不同种类中同系列的多种方法,分析了同系列方法在设计理念上的演进趋势,提供了当前研究现状的全面概述。最后对参数高效微调技术进行整体的分析与展望,提出未来该技术可能的优化方向,并结合实践提出该技术在实际工程应用中可行的技术方案。
-
关键词
参数高效微调技术
深度学习
自然语言处理
模型优化
-
Keywords
parameter-efficient fine-tuning
deep learning
natural language processing
model optimization
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
