-
题名基于语义前缀微调的零样本对话状态跟踪领域迁移模型
- 1
-
-
作者
孙雨阳
张敏婕
胡婕
-
机构
湖北大学计算机与信息工程学院
湖北大学楚才学院
大数据智能分析与行业应用湖北省重点实验室(湖北大学)
智慧政务与人工智能应用湖北省工程研究中心(湖北大学)
-
出处
《计算机应用》
北大核心
2025年第7期2221-2228,共8页
-
基金
国家自然科学基金资助项目(61977021)。
-
文摘
零样本对话状态跟踪(DST)需要在缺乏标注数据时将已有模型迁移至新领域。现有的相关方法在执行领域迁移时常常难以捕捉对话文本中的上下文联系,导致相关模型在面对未知领域时的泛化能力不足。针对上述问题,提出一种基于语义前缀微调的零样本DST领域迁移模型。首先,利用槽位描述生成初始前缀,确保前缀与对话文本的紧密语义联系;其次,融合前缀位置与领域信息,生成能整合模型内部知识和领域信息的前缀;再次,根据对话内容的复杂性动态调整前缀长度,增强模型对上下文内容的敏感性;最后,通过全局式前缀插入增强模型对历史对话的全局记忆能力。实验结果表明,相较于Prompter模型,所提模型在MultiWOZ2.1数据集的Restaurant、Taxi和Train领域上的联合目标准确率(JGA)分别提高了5.50、0.90和7.50个百分点,在SGD数据集的Messaging、Payment和Trains领域上的JGA分别提高了0.65、14.51和0.65个百分点。可见,所提模型的零样本场景下DST任务的上下文理解能力和泛化迁移性能得到了有效提升。
-
关键词
对话状态跟踪
零样本学习
领域迁移
前缀微调
参数高效迁移学习
-
Keywords
Dialogue State Tracking(DST)
zero-shot learning
domain transfer
prefix-tuning
Parameter-Efficient Transfer Learning(PETL)
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
