-
题名基于富语义词元的大模型生成策略优化
- 1
-
-
作者
程齐凯
石湘
于丰畅
黄圣智
-
机构
武汉大学信息管理学院
武汉大学智能与创新治理研究所
-
出处
《情报学报》
北大核心
2025年第6期761-782,共22页
-
基金
新一代人工智能国家科技重大专项项目“高可靠科技文献智能引擎关键技术研发与示范应用”(2023ZD0121500)
国家自然科学基金面上项目“基于机器阅读理解的科学命题文本论证逻辑识别”(72174157)。
-
文摘
近年来,通用大模型技术取得了显著进展,但在科技情报领域的应用中,仍面临推理效率低下和领域任务适配性不足的问题。为此,本文系统地分析了大模型的生成机制,并提出了“富语义词元”概念,旨在描述大模型在生成过程中倾向产生的、具有语义聚合性、上下文依赖性或任务相关性的词元或词元序列。基于该概念,本文设计了一种基于生成偏好的大小模型协同生成策略。通过富语义词元的挖掘、复制机制及动态验证策略,实现在小模型与大模型之间的协同作用,推动大模型由逐词元生成向多个词元同步生成的转变,从而提升生成效率与任务适配性。本文从生成性能、泛用性和生成效率三个维度对该生成优化策略进行了评估。研究结果表明,该策略在法律、医学和新闻百科等多个领域任务中的评估指标均优于传统生成优化方法。本文为大模型生成优化、任务适配性提升以及可信可靠大模型构建提供了新的理论基础和实践路径。
-
关键词
富语义词元
大小模型协同
生成优化
动态投机采样
-
Keywords
rich semantic tokens
large-small model collaboration
generation optimization
dynamic speculative sampling
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
