提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次...提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息。将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较。实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75.9%和73.3%,在RegDB数据集的可见光到红外的搜索(VIS to IR)模式下的Rank-1和mAP分别达到93.7%和89.3%,优于所对比的方法,充分证实了所提方法的有效性。展开更多
针对无人机场景下行人重识别所呈现的多视角多尺度特点,以及传统的基于卷积神经网络的行人重识别算法受限于局部感受野结构和下采样操作,很难对行人图像的全局特征进行提取且图像空间特征分辨率不高。提出一种无人机场景下基于Transfor...针对无人机场景下行人重识别所呈现的多视角多尺度特点,以及传统的基于卷积神经网络的行人重识别算法受限于局部感受野结构和下采样操作,很难对行人图像的全局特征进行提取且图像空间特征分辨率不高。提出一种无人机场景下基于Transformer的轻量化行人重识别(Lightweight Transformer-based Person Re-Identification,LTReID)算法,利用多头多注意力机制从全局角度提取人体不同部分特征,使用Circle损失和边界样本挖掘损失,以提高图像特征提取和细粒度图像检索性能,并利用快速掩码搜索剪枝算法对Transformer模型进行训练后轻量化,以提高模型的无人机平台部署能力。更进一步,提出一种可学习的面向无人机场景的空间信息嵌入,在训练过程中通过学习获得优化的非视觉信息,以提取无人机多视角下行人的不变特征,提升行人特征识别的鲁棒性。最后,在实际的无人机行人重识别数据库中,讨论了在不同量级主干网和不同剪枝率情况下所提LTReID算法的行人重识别性能,并与多种行人重识别算法进行了性能对比,结果表明了所提算法的有效性和优越性。展开更多
行人重识别是计算机视觉领域中的一个重要研究方向,其目的是在不同的监控摄像头中识别并跟踪同一行人.由于视频帧间存在多种时间关系,从这些关系中可以获取到对象的运动模式以及细粒度特征,因此视频重识别相比图像重识别拥有更丰富的时...行人重识别是计算机视觉领域中的一个重要研究方向,其目的是在不同的监控摄像头中识别并跟踪同一行人.由于视频帧间存在多种时间关系,从这些关系中可以获取到对象的运动模式以及细粒度特征,因此视频重识别相比图像重识别拥有更丰富的时空线索,也更接近实际应用.问题的关键是如何挖掘这些时空线索作为视频重识别的特征.本文针对视频行人重识别问题,提出了一种基于Transformer的长短期时间关系网络(Long and Short Time Transformer,LSTT).该网络包含长短期时间关系模块,提取重要时序信息并强化特征表示.长期时间关系模块利用记忆线索存储每帧信息,并在每一帧建立全局联系;短期时间关系模块则考虑相邻帧之间交互,学习细粒度目标信息,提高特征表示能力.此外,为了提高模型对不同目标特征的适配性,本文还设计了一个包含不同规格卷积核的多尺度模块.该模块具有多种卷积感受野,能够更全面覆盖目标区域,从而进一步提高模型的泛化性能.在MARS、MARS_DL和iLIDS-VID 3个数据集上的实验结果表明,LSTT模型性能最优.展开更多
文摘提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息。将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较。实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75.9%和73.3%,在RegDB数据集的可见光到红外的搜索(VIS to IR)模式下的Rank-1和mAP分别达到93.7%和89.3%,优于所对比的方法,充分证实了所提方法的有效性。
文摘具有混合记忆的自步对比学习(Self-paced Contrastive Learning,SpCL)通过集群聚类生成不同级别的伪标签来训练网络,取得了较好的识别效果,然而该方法从源域和目标域中捕获的行人数据之间存在典型的分布差异,使得训练出的网络不能准确区别目标域和源域数据域特征。针对此问题,提出了双分支动态辅助对比学习(Dynamic Auxiliary Contrastive Learning,DACL)框架。该方法首先通过动态减小源域和目标域之间的局部最大平均差异(Local Maximum Mean Discrepancy,LMMD),以有效地学习目标域的域不变特征;其次,引入广义均值(Generalized Mean,GeM)池化策略,在特征提取后再进行特征聚合,使提出的网络能够自适应地聚合图像的重要特征;最后,在3个经典行人重识别数据集上进行了仿真实验,提出的DACL与性能次之的无监督域自适应行人重识别方法相比,mAP和rank-1在Market1501数据集上分别增加了6.0个百分点和2.2个百分点,在MSMT17数据集上分别增加了2.8个百分点和3.6个百分点,在Duke数据集上分别增加了1.7个百分点和2.1个百分点。
文摘针对无人机场景下行人重识别所呈现的多视角多尺度特点,以及传统的基于卷积神经网络的行人重识别算法受限于局部感受野结构和下采样操作,很难对行人图像的全局特征进行提取且图像空间特征分辨率不高。提出一种无人机场景下基于Transformer的轻量化行人重识别(Lightweight Transformer-based Person Re-Identification,LTReID)算法,利用多头多注意力机制从全局角度提取人体不同部分特征,使用Circle损失和边界样本挖掘损失,以提高图像特征提取和细粒度图像检索性能,并利用快速掩码搜索剪枝算法对Transformer模型进行训练后轻量化,以提高模型的无人机平台部署能力。更进一步,提出一种可学习的面向无人机场景的空间信息嵌入,在训练过程中通过学习获得优化的非视觉信息,以提取无人机多视角下行人的不变特征,提升行人特征识别的鲁棒性。最后,在实际的无人机行人重识别数据库中,讨论了在不同量级主干网和不同剪枝率情况下所提LTReID算法的行人重识别性能,并与多种行人重识别算法进行了性能对比,结果表明了所提算法的有效性和优越性。
文摘行人重识别是计算机视觉领域中的一个重要研究方向,其目的是在不同的监控摄像头中识别并跟踪同一行人.由于视频帧间存在多种时间关系,从这些关系中可以获取到对象的运动模式以及细粒度特征,因此视频重识别相比图像重识别拥有更丰富的时空线索,也更接近实际应用.问题的关键是如何挖掘这些时空线索作为视频重识别的特征.本文针对视频行人重识别问题,提出了一种基于Transformer的长短期时间关系网络(Long and Short Time Transformer,LSTT).该网络包含长短期时间关系模块,提取重要时序信息并强化特征表示.长期时间关系模块利用记忆线索存储每帧信息,并在每一帧建立全局联系;短期时间关系模块则考虑相邻帧之间交互,学习细粒度目标信息,提高特征表示能力.此外,为了提高模型对不同目标特征的适配性,本文还设计了一个包含不同规格卷积核的多尺度模块.该模块具有多种卷积感受野,能够更全面覆盖目标区域,从而进一步提高模型的泛化性能.在MARS、MARS_DL和iLIDS-VID 3个数据集上的实验结果表明,LSTT模型性能最优.
