大语言模型(Large Language Model,LLM)已经广泛应用于问答系统。然而,闭源的较大LLM(Larger-LLM,L-LLM)API调用价格高昂且推理速度缓慢,开源的较小LLM(Smaller-LLM,S-LLM)性能不佳难以满足用户需求。该文提出了大小语言模型协同驱动的...大语言模型(Large Language Model,LLM)已经广泛应用于问答系统。然而,闭源的较大LLM(Larger-LLM,L-LLM)API调用价格高昂且推理速度缓慢,开源的较小LLM(Smaller-LLM,S-LLM)性能不佳难以满足用户需求。该文提出了大小语言模型协同驱动的问答系统框架(LS-QA),以结合大小模型各自优势,优化现有问答系统中存在的问题。该文首先提出了请求分流,通过训练一个路由模型将用户请求分为简单请求与困难请求,并由S-LLM解决简单请求以降低系统对L-LLM的依赖,同时通过LLM的通用能力帮助用户度过无法微调模型的冷启动阶段。为了进一步减少调用L-LLM带来的开销,LS-QA通过在线学习与多源蒸馏算法保留S-LLM原有能力的同时提升其在困难请求上的表现。此外,该文提出了信息剪枝算法,以在特定领域问答场景中剔除检索知识中的噪声信息,减少LLM输入字符数量。LS-QA在公开数据集与现实科研问答数据上的表现都充分显示其在保证问答系统效果的同时,可以有效降低系统的时间开销与运营成本。例如,相较于L-LLM,在自然语言推理数据集上,LS-QA的性能提升了5.80%,时间开销减少了37.97%,而成本仅为原来的46.50%。展开更多
文摘大语言模型(Large Language Model,LLM)已经广泛应用于问答系统。然而,闭源的较大LLM(Larger-LLM,L-LLM)API调用价格高昂且推理速度缓慢,开源的较小LLM(Smaller-LLM,S-LLM)性能不佳难以满足用户需求。该文提出了大小语言模型协同驱动的问答系统框架(LS-QA),以结合大小模型各自优势,优化现有问答系统中存在的问题。该文首先提出了请求分流,通过训练一个路由模型将用户请求分为简单请求与困难请求,并由S-LLM解决简单请求以降低系统对L-LLM的依赖,同时通过LLM的通用能力帮助用户度过无法微调模型的冷启动阶段。为了进一步减少调用L-LLM带来的开销,LS-QA通过在线学习与多源蒸馏算法保留S-LLM原有能力的同时提升其在困难请求上的表现。此外,该文提出了信息剪枝算法,以在特定领域问答场景中剔除检索知识中的噪声信息,减少LLM输入字符数量。LS-QA在公开数据集与现实科研问答数据上的表现都充分显示其在保证问答系统效果的同时,可以有效降低系统的时间开销与运营成本。例如,相较于L-LLM,在自然语言推理数据集上,LS-QA的性能提升了5.80%,时间开销减少了37.97%,而成本仅为原来的46.50%。
