-
题名大语言模型在代码优化任务中的能力探究及改进方法
- 1
-
-
作者
王志鹏
何铁科
赵若愚
郑滔
-
机构
南京大学软件学院
-
出处
《软件学报》
北大核心
2025年第6期2477-2500,共24页
-
基金
国家自然科学基金(62306137)。
-
文摘
代码优化任务作为自动化代码审查的关键环节,有助于提高开发效率和代码质量.随着大语言模型在软件工程领域中展现出远胜于传统小规模预训练模型的性能,旨在探讨两类模型在自动代码优化任务的表现,以评估大语言模型的综合优势.通过使用传统代码质量评估指标(例如,BLEU,CodeBLEU,edit progress)对4种主流大语言模型和4种代表性小规模预训练模型在代码优化任务的表现进行评估,发现大语言模型在审查前代码优化子任务的优化质量劣于小规模预训练模型.由于现有代码质量评估指标难以解释上述现象,提出基于Unidiff的代码优化评估指标,量化优化过程中的变更操作,以解释劣势原因并揭示模型执行变更操作的倾向性:(1)审查前代码优化任务难度较大,模型执行正确变更操作的准确度极低,且大语言模型比小规模预训练模型表现更为“激进”,即倾向于执行更多的代码变更操作,导致其表现不佳;(2)相比小规模预训练模型,大语言模型在代码优化任务倾向于执行更多插入(ADD)和修改(MODIFY)变更操作且ADD变更操作平均插入的代码行数较多,进一步证明其“激进”性.为缓解大语言模型在审查前优化任务中的劣势,基于大语言模型和集成学习提出LLM-Voter方法,包含Inference-based(基于模型推理)和Confidence-based(基于置信度选择)两种子方案,旨在集成不同基模型的优势以提升代码优化质量.在此基础上,进一步引入优化判定机制,以增强模型的决策稳定性与可靠性.实验证明:基于置信度选择的LLM-Voter方法能够在大幅提高EM(exact match)值的同时获得优于所有基模型的优化质量,从而有效缓解大语言模型的劣势.
-
关键词
代码审查
自动代码优化
大语言模型
统一差异格式
集成学习
-
Keywords
code review
automated code refinement
large language model(LLM)
unified diff format(Unidiff)
ensemble learning
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
-
