针对当前两阶段的点云目标检测算法PointRCNN:3D object proposal generation and detection from point cloud在点云降采样阶段时间开销大以及低效性的问题,本研究基于PointRCNN网络提出RandLA-RCNN(random sampling and an effectivel...针对当前两阶段的点云目标检测算法PointRCNN:3D object proposal generation and detection from point cloud在点云降采样阶段时间开销大以及低效性的问题,本研究基于PointRCNN网络提出RandLA-RCNN(random sampling and an effectivelocal feature aggregator with region-based convolu-tional neural networks)架构。首先,利用随机采样方法在处理庞大点云数据时的高效性,对大场景点云数据进行下采样;然后,通过对输入点云的每个近邻点的空间位置编码,有效提高从每个点的邻域提取局部特征的能力,并利用基于注意力机制的池化规则聚合局部特征向量,获取全局特征;最后使用由多个局部空间编码单元和注意力池化单元叠加形成的扩展残差模块,来进一步增强每个点的全局特征,避免关键点信息丢失。实验结果表明,该检测算法在保留PointRCNN网络对3D目标的检测优势的同时,相比PointRCNN检测速度提升近两倍,达到16 f/s的推理速度。展开更多
基于BEV(bird’s eye view)多传感器融合的自动驾驶感知算法近年来取得重大进展,持续促进自动驾驶的发展。在多传感器融合感知算法研究中,多视角图像向BEV视角的转换和多模态特征融合一直是BEV感知算法的重点和难点。笔者提出MSEPE-CRN(...基于BEV(bird’s eye view)多传感器融合的自动驾驶感知算法近年来取得重大进展,持续促进自动驾驶的发展。在多传感器融合感知算法研究中,多视角图像向BEV视角的转换和多模态特征融合一直是BEV感知算法的重点和难点。笔者提出MSEPE-CRN(multi-scale feature fusion and edge and point enhancement-camera radar net),一种用于3D目标检测的相机与毫米波雷达融合感知算法,利用边缘特征和点云提高深度预测的精度,实现多视角图像向BEV特征的精确转换。同时,引入多尺度可变形大核注意力机制进行模态融合,解决因不同传感器特征差异过大导致的错位。在nuScenes开源数据集上的实验结果表明,与基准网络相比,mAP提升2.17%、NDS提升1.93%、mATE提升2.58%、mAOE提升8.08%、mAVE提升2.13%,该算法可有效提高车辆对路面上运动障碍物的感知能力,具有实用价值。展开更多
在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段...在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.展开更多
针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供...针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。展开更多
针对现有基于伪点云的3D目标检测算法精度远低于基于真实激光雷达(Light Detection and ranging,LiDar)点云的3D目标检测,本文研究伪点云重构,并提出适合伪点云的3D目标检测网络.考虑到由图像深度转换得到的伪点云稠密且随深度增大逐渐...针对现有基于伪点云的3D目标检测算法精度远低于基于真实激光雷达(Light Detection and ranging,LiDar)点云的3D目标检测,本文研究伪点云重构,并提出适合伪点云的3D目标检测网络.考虑到由图像深度转换得到的伪点云稠密且随深度增大逐渐稀疏,本文提出深度相关伪点云稀疏化方法,在减少后续计算量的同时保留中远距离更多的有效伪点云,实现伪点云重构.本文提出LiDar点云指导下特征分布趋同与语义关联的3D目标检测网络,在网络训练时引入LiDar点云分支来指导伪点云目标特征的生成,使生成的伪点云特征分布趋同于LiDar点云特征分布,从而降低数据源不一致造成的检测性能损失;针对RPN(Region Proposal Network)网络获取的3D候选框内的伪点云间语义关联不足的问题,设计注意力感知模块,在伪点云特征表示中通过注意力机制嵌入点间的语义关联关系,提升3D目标检测精度.在KITTI 3D目标检测数据集上的实验结果表明:现有的3D目标检测网络采用重构后的伪点云,检测精度提升了2.61%;提出的特征分布趋同与语义关联的3D目标检测网络,将基于伪点云的3D目标检测精度再提升0.57%,相比其他优秀的3D目标检测方法在检测精度上也有提升.展开更多
文摘针对当前两阶段的点云目标检测算法PointRCNN:3D object proposal generation and detection from point cloud在点云降采样阶段时间开销大以及低效性的问题,本研究基于PointRCNN网络提出RandLA-RCNN(random sampling and an effectivelocal feature aggregator with region-based convolu-tional neural networks)架构。首先,利用随机采样方法在处理庞大点云数据时的高效性,对大场景点云数据进行下采样;然后,通过对输入点云的每个近邻点的空间位置编码,有效提高从每个点的邻域提取局部特征的能力,并利用基于注意力机制的池化规则聚合局部特征向量,获取全局特征;最后使用由多个局部空间编码单元和注意力池化单元叠加形成的扩展残差模块,来进一步增强每个点的全局特征,避免关键点信息丢失。实验结果表明,该检测算法在保留PointRCNN网络对3D目标的检测优势的同时,相比PointRCNN检测速度提升近两倍,达到16 f/s的推理速度。
文摘基于BEV(bird’s eye view)多传感器融合的自动驾驶感知算法近年来取得重大进展,持续促进自动驾驶的发展。在多传感器融合感知算法研究中,多视角图像向BEV视角的转换和多模态特征融合一直是BEV感知算法的重点和难点。笔者提出MSEPE-CRN(multi-scale feature fusion and edge and point enhancement-camera radar net),一种用于3D目标检测的相机与毫米波雷达融合感知算法,利用边缘特征和点云提高深度预测的精度,实现多视角图像向BEV特征的精确转换。同时,引入多尺度可变形大核注意力机制进行模态融合,解决因不同传感器特征差异过大导致的错位。在nuScenes开源数据集上的实验结果表明,与基准网络相比,mAP提升2.17%、NDS提升1.93%、mATE提升2.58%、mAOE提升8.08%、mAVE提升2.13%,该算法可有效提高车辆对路面上运动障碍物的感知能力,具有实用价值。
文摘在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.
文摘针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。
