行人重识别虽已取得了显著进展,但在实际应用场景中,不同障碍物引起的遮挡问题仍然是一个亟待解决的挑战。为了从被遮挡行人中提取更有效的特征,提出了一种基于可学习掩模和位置编码(Learnable mask and position encoding, LMPE)的遮...行人重识别虽已取得了显著进展,但在实际应用场景中,不同障碍物引起的遮挡问题仍然是一个亟待解决的挑战。为了从被遮挡行人中提取更有效的特征,提出了一种基于可学习掩模和位置编码(Learnable mask and position encoding, LMPE)的遮挡行人重识别方法。首先,引入了一种可学习的双路注意力掩模生成器(Learnable dual attention mask generator, LDAMG),生成的掩模能够适应不同遮挡模式,显著提升了对被遮挡行人的识别准确性。该模块可以使网络更灵活,能更好地适应多样性的遮挡情况,有效克服了遮挡带来的困扰。同时,该网络通过掩模学习上下文信息,进一步增强了对行人所处场景的理解力。此外,为了解决Transformer位置信息损耗问题,引入了遮挡感知位置编码融合(Occlusion aware position encoding fusion, OAPEF)模块。该模块进行不同层次位置编码融合,使网络获得更强的表达能力。通过全方位整合图像位置编码,可以更准确地理解行人间的空间关系,提高模型对遮挡情况的适应能力。最后,仿真实验表明,本文提出的LMPE在Occluded-Duke和Occluded-ReID遮挡数据集以及Market-1501和DukeMTMC-ReID无遮挡数据集上都取得了较好的效果,验证了本文方法的有效性和优越性。展开更多
及时准确地预测煤自燃温度对于预防煤矿安全事故的发生至关重要,传统预测方法存在数据特征提取不充分的问题,提出了一种基于LSTM改进Transformer的煤自燃温度预测模型。首先,利用长短时记忆神经网络(Long Short Term Memory,LSTM)从时...及时准确地预测煤自燃温度对于预防煤矿安全事故的发生至关重要,传统预测方法存在数据特征提取不充分的问题,提出了一种基于LSTM改进Transformer的煤自燃温度预测模型。首先,利用长短时记忆神经网络(Long Short Term Memory,LSTM)从时间维度捕获给定煤自燃温度文本数据中的时序特征,强化模型对于时间序列数据的长距离依赖性建模能力;然后,将LSTM网络的输出作为Transformer网络的输入,充分利用Transformer网络的多头注意力机制对时序特征的上下文位置信息进行编码压缩,细粒度地捕获煤自燃温度文本数据在时序维度的特征全局关联性;最后,将集成LSTM上下文时序和Transformer位置编码强化后的特征作为全连接神经网络的输入,预测下一时刻的煤自燃温度。通过在开源的某矿煤自燃发火试验数据集上进行测试,所提模型在平均绝对误差(Mean Absolute Error,MAE)、平均百分比误差(Mean Absolute Percentage Error,MAPE)和均方根误差(Root Mean Square Error,RMSE)3个指标上分别实现了10.62、6.04%和25.19%的性能值,优于当前主流的时间序列神经网络LSTM、GRU、BiLSTM,有一定的应用潜力。展开更多
义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Trans...义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Transformer的生成式标题模型Tran-A-SDLM(Transformer Adaption based Sememe-Driven Language Model with positional embedding and knowledge reasoning)。该模型充分结合自适应位置编码和知识推理机制的优势。首先,引入Transformer模型以增强模型对文本序列的编码能力;其次,利用自适应位置编码机制增强模型的位置感知能力,从而增强对上下文义原知识的学习;此外,引入知识推理模块,用于表示义原知识,并指导模型生成准确标题;最后,为验证Tran-A-SDLM的优越性,在大规模中文短文本摘要(LCSTS)数据集上进行实验。实验结果表明,与RNN-context-SDLM相比,Tran-A-SDLM在ROUGE-1、ROUGE-2和ROUGE-L值上分别提升了0.2、0.7和0.5个百分点。消融实验结果进一步验证了所提模型的有效性。展开更多
文摘及时准确地预测煤自燃温度对于预防煤矿安全事故的发生至关重要,传统预测方法存在数据特征提取不充分的问题,提出了一种基于LSTM改进Transformer的煤自燃温度预测模型。首先,利用长短时记忆神经网络(Long Short Term Memory,LSTM)从时间维度捕获给定煤自燃温度文本数据中的时序特征,强化模型对于时间序列数据的长距离依赖性建模能力;然后,将LSTM网络的输出作为Transformer网络的输入,充分利用Transformer网络的多头注意力机制对时序特征的上下文位置信息进行编码压缩,细粒度地捕获煤自燃温度文本数据在时序维度的特征全局关联性;最后,将集成LSTM上下文时序和Transformer位置编码强化后的特征作为全连接神经网络的输入,预测下一时刻的煤自燃温度。通过在开源的某矿煤自燃发火试验数据集上进行测试,所提模型在平均绝对误差(Mean Absolute Error,MAE)、平均百分比误差(Mean Absolute Percentage Error,MAPE)和均方根误差(Root Mean Square Error,RMSE)3个指标上分别实现了10.62、6.04%和25.19%的性能值,优于当前主流的时间序列神经网络LSTM、GRU、BiLSTM,有一定的应用潜力。
文摘义原作为最小的语义单位对于标题生成任务至关重要。尽管义原驱动的神经语言模型(SDLM)是主流模型之一,但它在处理长文本序列时编码能力有限,未充分考虑位置关系,易引入噪声知识进而影响生成标题的质量。针对上述问题,提出一种基于Transformer的生成式标题模型Tran-A-SDLM(Transformer Adaption based Sememe-Driven Language Model with positional embedding and knowledge reasoning)。该模型充分结合自适应位置编码和知识推理机制的优势。首先,引入Transformer模型以增强模型对文本序列的编码能力;其次,利用自适应位置编码机制增强模型的位置感知能力,从而增强对上下文义原知识的学习;此外,引入知识推理模块,用于表示义原知识,并指导模型生成准确标题;最后,为验证Tran-A-SDLM的优越性,在大规模中文短文本摘要(LCSTS)数据集上进行实验。实验结果表明,与RNN-context-SDLM相比,Tran-A-SDLM在ROUGE-1、ROUGE-2和ROUGE-L值上分别提升了0.2、0.7和0.5个百分点。消融实验结果进一步验证了所提模型的有效性。
