期刊导航
期刊开放获取
上海教育软件发展有限公..
期刊文献
+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
检索
高级检索
期刊导航
共找到
1
篇文章
<
1
>
每页显示
20
50
100
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
显示方式：
文摘
详细
列表
相关度排序
被引量排序
时效性排序
大模型驱动的学术文本挖掘——调优端参数高效微调策略研究
1
作者
刘寅鹏
陆伟
+3 位作者
石湘
刘家伟
程齐凯
黄永
《情报学报》
北大核心
2025年第9期1159-1172,共14页
学术文本深度理解能力已成为情报工作重要支撑,大模型在此类工作中展现了巨大的潜力。大模型可以从推理端和调优端两个方向提升模型的知识挖掘和利用能力。当前,在领域深度相关的学术文本挖掘任务上,推理端的各类指令工程技术仍难以充...
学术文本深度理解能力已成为情报工作重要支撑,大模型在此类工作中展现了巨大的潜力。大模型可以从推理端和调优端两个方向提升模型的知识挖掘和利用能力。当前,在领域深度相关的学术文本挖掘任务上,推理端的各类指令工程技术仍难以充分发挥大模型的深度语义理解能力,因此,在调优端使用参数高效微调技术面向领域任务对模型参数进行适配,成为大模型赋能学术文本挖掘的关键。目前尚未形成对模型应用不同调优方法的性能和效益的系统性探索。本研究构建了面向学术文本挖掘的参数高效微调框架和性能效益评测体系,通过对7类指令调优模型应用8项调优方法后的性能指标与成本效益进行评估,对参数高效微调策略与调优模型在学术文本挖掘任务上的能力边界进行探索。研究结果表明,在各类调优方法中,全量微调性能最优,但其领先优势并不显著;QLoRA(quantized low-rank adaptation)的计算成本最低,成为综合效益最高的调优方法。不同规模和架构的大模型调优后的性能差异不大,Mistral-7B-Instruct-v0.1等规模较小的模型使用QLoRA调优后可取得与百亿级模型相当的性能指标。调优后的大模型在引文功能识别、科技实体抽取、科技文本推理3类任务上的性能指标均大幅领先于其在指令端的表现;相比于传统深度学习模型,大模型在学术文本推理任务上全面领先,在科技实体抽取和引文功能识别任务上与小模型性能相近。由此可见,大模型在难度较高的复杂任务上表现更好,而对于简单的序列标注任务和分类任务,使用小模型的收益更高。
展开更多
关键词
大模型
学术文本挖掘
参数高效微调策略
能力评估
在线阅读
下载PDF
职称材料
题名
大模型驱动的学术文本挖掘——调优端参数高效微调策略研究
1
作者
刘寅鹏
陆伟
石湘
刘家伟
程齐凯
黄永
机构
武汉大学信息管理学院
武汉大学智能与创新治理研究所
出处
《情报学报》
北大核心
2025年第9期1159-1172,共14页
基金
国家自然科学基金重点项目“数智赋能的科技信息资源与知识管理理论变革”(72234005)
国家自然科学基金面上项目“基于机器阅读理解的科学命题文本论证逻辑识别”(72174157)。
文摘
学术文本深度理解能力已成为情报工作重要支撑,大模型在此类工作中展现了巨大的潜力。大模型可以从推理端和调优端两个方向提升模型的知识挖掘和利用能力。当前,在领域深度相关的学术文本挖掘任务上,推理端的各类指令工程技术仍难以充分发挥大模型的深度语义理解能力,因此,在调优端使用参数高效微调技术面向领域任务对模型参数进行适配,成为大模型赋能学术文本挖掘的关键。目前尚未形成对模型应用不同调优方法的性能和效益的系统性探索。本研究构建了面向学术文本挖掘的参数高效微调框架和性能效益评测体系,通过对7类指令调优模型应用8项调优方法后的性能指标与成本效益进行评估,对参数高效微调策略与调优模型在学术文本挖掘任务上的能力边界进行探索。研究结果表明,在各类调优方法中,全量微调性能最优,但其领先优势并不显著;QLoRA(quantized low-rank adaptation)的计算成本最低,成为综合效益最高的调优方法。不同规模和架构的大模型调优后的性能差异不大,Mistral-7B-Instruct-v0.1等规模较小的模型使用QLoRA调优后可取得与百亿级模型相当的性能指标。调优后的大模型在引文功能识别、科技实体抽取、科技文本推理3类任务上的性能指标均大幅领先于其在指令端的表现;相比于传统深度学习模型,大模型在学术文本推理任务上全面领先,在科技实体抽取和引文功能识别任务上与小模型性能相近。由此可见,大模型在难度较高的复杂任务上表现更好,而对于简单的序列标注任务和分类任务,使用小模型的收益更高。
关键词
大模型
学术文本挖掘
参数高效微调策略
能力评估
Keywords
large language models
academic text mining
parameter-efficient fine-tuning(PEFT)
capability evaluation
分类号
TP391.1 [自动化与计算机技术—计算机应用技术]
TP18 [自动化与计算机技术—控制理论与控制工程]
在线阅读
下载PDF
职称材料
题名
作者
出处
发文年
被引量
操作
1
大模型驱动的学术文本挖掘——调优端参数高效微调策略研究
刘寅鹏
陆伟
石湘
刘家伟
程齐凯
黄永
《情报学报》
北大核心
2025
0
在线阅读
下载PDF
职称材料
已选择
0
条
导出题录
引用分析
参考文献
引证文献
统计分析
检索结果
已选文献
上一页
1
下一页
到第
页
确定
用户登录
登录
IP登录
使用帮助
返回顶部
