在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接...在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力。其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体。最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力。实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F 1分数达到87.5%和86.4%,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。展开更多
文摘在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力。其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体。最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力。实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F 1分数达到87.5%和86.4%,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。
