智能车辆人机协作的关键是以人为核心,换道作为最基本的驾驶任务之一,准确高效预测驾驶人换道意图对人机协作拟人化发展至关重要。本文基于驾驶人认知决策空间的理论,设计了驾驶人换道意图预测试验,分析了车辆操纵数据、驾驶人视觉特性...智能车辆人机协作的关键是以人为核心,换道作为最基本的驾驶任务之一,准确高效预测驾驶人换道意图对人机协作拟人化发展至关重要。本文基于驾驶人认知决策空间的理论,设计了驾驶人换道意图预测试验,分析了车辆操纵数据、驾驶人视觉特性与驾驶场景之间的关系,生成了驾驶人注视区与驾驶场景拓扑关系图,构建了不同时间窗口的驾驶人换道意图预测模型数据集,基于ConvNeXt(convolutional network)模型的逆残差深度可分离卷积,结合注意力机制ECA(efficient channel attention)、ConvLSTM(convolutional long short term memory)网络以及GCN(graph convolutional networks)图神经网络等结构,构建了基于注意力机制的驾驶人换道意图预测模型。结果表明,数据集时间宽度为3 s时模型的预测准确率表现最佳,为91.15%,通过对比试验、消融试验充分验证了所提出的基于注意力机制的驾驶人换道意图预测模型的优越性能。展开更多
在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接...在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力。其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体。最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力。实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F 1分数达到87.5%和86.4%,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。展开更多
口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(int...口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(intent detection,ID)和槽位填充(slot filling,SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此外,为了更好地适应槽标签的局部连续性,利用窗口机制来准确地表示词级嵌入表示.同时结合预训练模型(BERT),分析所提出模型应用预训练模型的效果.所提模型在两个公共数据集上的实验结果表明,所提模型在意图检测任务上准确率分别达到了97.98%和99.11%,在槽位填充任务上F1分数分别达到96.10%和96.11%,均优于目前主流的方法.展开更多
随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务...随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务学习的意图检测和槽位填充联合方法(IDSFML)。首先,使用随机掩盖mask策略构造差异文本,设计结合自编码器和注意力机制的神经网络(AEA)结构,为口语理解任务融入差异文本序列的特征;其次,设计相似性分布任务,使差异文本和原始文本的表征相似;最后,联合训练ID、SF和差异文本序列相似性分布三个任务。在航班旅行信息系统(ATIS)和SNIPS数据集上的实验结果表明,IDSFML与表现次优的基线方法SASGBC(Self-Attention and Slot-Gated on top of BERT with CRF)相比,槽位填充F1值分别提升了1.9和1.6个百分点,意图检测准确率分别提升了0.2和0.4个百分点,提高了口语理解任务的准确率。展开更多
为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于Transformer的多层双向自注意编码器(bidirectional encoder representations from transformers,BERT)的联合模型。利用BERT进行...为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于Transformer的多层双向自注意编码器(bidirectional encoder representations from transformers,BERT)的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(conditional random field,CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F 1和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。研究结果有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。展开更多
文摘智能车辆人机协作的关键是以人为核心,换道作为最基本的驾驶任务之一,准确高效预测驾驶人换道意图对人机协作拟人化发展至关重要。本文基于驾驶人认知决策空间的理论,设计了驾驶人换道意图预测试验,分析了车辆操纵数据、驾驶人视觉特性与驾驶场景之间的关系,生成了驾驶人注视区与驾驶场景拓扑关系图,构建了不同时间窗口的驾驶人换道意图预测模型数据集,基于ConvNeXt(convolutional network)模型的逆残差深度可分离卷积,结合注意力机制ECA(efficient channel attention)、ConvLSTM(convolutional long short term memory)网络以及GCN(graph convolutional networks)图神经网络等结构,构建了基于注意力机制的驾驶人换道意图预测模型。结果表明,数据集时间宽度为3 s时模型的预测准确率表现最佳,为91.15%,通过对比试验、消融试验充分验证了所提出的基于注意力机制的驾驶人换道意图预测模型的优越性能。
文摘在工业运维人机对话任务中,为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题,提出一种改进的BERT联合任务算法GP-GraphBERT,利用意图和语义槽识别任务的关联性提升对话性能。首先,由BERT得到隐藏层状态后,通过构建邻接矩阵将其转换为图结构,嵌入加权残差图注意力网络(WRGAT)增强模型的邻居感知能力。其次,改进融合旋转式位置编码(rotary position embedding,RoPE)的全局指针机制(GlobalPointer),使模型能够无差别地识别常规实体和嵌套实体。最后,设计意图识别和语义槽识别任务的联合损失函数,利用两者的关联性提高预测精度,在模型训练过程中引入动态掩码处理,增强模型的鲁棒性和泛化能力。实验结果表明,GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F 1分数达到87.5%和86.4%,相较于原网络JointBERT分别提升9.2和3.0百分点,同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。
文摘口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(intent detection,ID)和槽位填充(slot filling,SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此外,为了更好地适应槽标签的局部连续性,利用窗口机制来准确地表示词级嵌入表示.同时结合预训练模型(BERT),分析所提出模型应用预训练模型的效果.所提模型在两个公共数据集上的实验结果表明,所提模型在意图检测任务上准确率分别达到了97.98%和99.11%,在槽位填充任务上F1分数分别达到96.10%和96.11%,均优于目前主流的方法.
文摘随着预训练语言模型在自然语言处理(NLP)任务上的应用,意图检测(ID)和槽位填充(SF)联合建模提高了口语理解的性能。现有方法大多关注意图和槽位的相互作用,忽略了差异文本序列建模对口语理解(SLU)任务的影响。因此,提出一种基于多任务学习的意图检测和槽位填充联合方法(IDSFML)。首先,使用随机掩盖mask策略构造差异文本,设计结合自编码器和注意力机制的神经网络(AEA)结构,为口语理解任务融入差异文本序列的特征;其次,设计相似性分布任务,使差异文本和原始文本的表征相似;最后,联合训练ID、SF和差异文本序列相似性分布三个任务。在航班旅行信息系统(ATIS)和SNIPS数据集上的实验结果表明,IDSFML与表现次优的基线方法SASGBC(Self-Attention and Slot-Gated on top of BERT with CRF)相比,槽位填充F1值分别提升了1.9和1.6个百分点,意图检测准确率分别提升了0.2和0.4个百分点,提高了口语理解任务的准确率。
文摘为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于Transformer的多层双向自注意编码器(bidirectional encoder representations from transformers,BERT)的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(conditional random field,CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F 1和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。研究结果有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。
