-
题名基于本体的对话状态跟踪及其知识蒸馏方法
- 1
-
-
作者
李啸天
倪郑威
-
机构
浙江工商大学
-
出处
《计算机应用与软件》
北大核心
2025年第8期204-212,共9页
-
基金
浙江省自然科学基金项目(LQ22F010008)。
-
文摘
对话状态跟踪是任务型对话系统中不可缺少的一部分,用于获取和管理用户在对话上下文中的意图。在以往研究中,对话状态跟踪方法使用多槽位学习以捕捉槽位之间的关联,但没有考虑各个任务的难易差异。此外,现有模型是基于预训练模型的大模型,不利于部署,也不符合对话系统对实时性的要求。针对以上问题,根据槽位分类难易程度为槽位损失加权联合优化;使用知识蒸馏的方法,压缩模型并保持精度;在没有大教师模型的情况下,使用小模型从头开始相互蒸馏,也能达到有教师模型蒸馏的精度。实验结果表明,提出的方法在标准WOZ2.0任务型对话数据集上获得了良好的结果。
-
关键词
对话状态跟踪
多任务学习
知识蒸馏
相互蒸馏
预训练模型
-
Keywords
Dialogue state tracking
Multi-task learning
Knowledge distillation
Mutual distillation
Pretrained model
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-
