-
题名面向大语言模型驱动的智能体的计划复用机制
被引量：3
- 1
-
-
作者
李国鹏
吴瑞骐
谈海生
陈国良
-
机构
中国科学技术大学计算机科学与技术学院
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2024年第11期3706-3720,共15页
-
基金
科技创新2030—“新一代人工智能”重大项目(2021ZD0110400)
国家自然科学基金重点项目(62132009)
中央高校基本科研业务费专项资金。
-
文摘
将大语言模型集成到个人助手中(如小爱同学、蓝心小V等)能有效提升个人助手与人类交互、解决复杂问题、管理物联网设备等能力,这类助手也被称为大模型驱动的智能体,也可称其为智能体.智能体接收到用户请求后,首先调用大模型生成计划,之后调用各类工具执行计划并将响应返回给用户.上述过程中,智能体使用大模型生成计划的延迟可达数十秒,十分影响用户体验.对真实数据的分析显示,智能体接收到的请求中约有30%是相同或相似的,此类请求可复用先前生成的计划,以降低智能体响应延迟.然而,直接对请求原始文本进行相似度评估难以准确界定智能体接收到的请求文本间的相似性.此外,自然语言表达的多样性和大模型生成的非结构化计划文本导致难以对计划进行有效复用.针对上述问题,提出并实现了面向大模型驱动的智能体的计划复用机制AgentReuse,通过利用请求文本间语义的相似性和差异性,采用基于意图分类的方法来界定请求间的相似性并实现计划复用.基于真实数据集的实验结果表明,AgentReuse对计划的有效复用率为93%,对请求进行相似性界定的F1分数为0.9718,准确率为0.9459,与不采用复用机制相比,可减少93.12%的延迟.
-
关键词
智能物联网
大语言模型
智能体
语义缓存
相似度评估
-
Keywords
artificial intelligence of things
large language models(LLMs)
agent
semantic cache
similarity evaluation
-
分类号
TP393
[自动化与计算机技术—计算机应用技术]
-
