基于多模态的三维目标检测可以利用点云的几何信息和图像的语义信息。针对多模态三维目标检测中存在的边缘信息无法充分利用、异构数据融合困难、推理速度慢等问题,提出一种高效的基于边缘差分信息融合的多模态实时三维目标检测算法(mul...基于多模态的三维目标检测可以利用点云的几何信息和图像的语义信息。针对多模态三维目标检测中存在的边缘信息无法充分利用、异构数据融合困难、推理速度慢等问题,提出一种高效的基于边缘差分信息融合的多模态实时三维目标检测算法(multimodal real-time 3D object detection based on edge differential information fusion,EDMR-Net)。在融合阶段提出了一个差分特征增强融合模块,通过扩散函数利用图像的差分信息增强点云语义表达以实现异构数据的互补,使用丰富的边缘信息和特征的稳定状态精准定位小目标;利用自适应上下文感知网络对多模态特征进行自适应权重分配,进一步细化多尺度上下文信息;为了提升模型对细节信息的捕获能力,在浅层特征中引入了多尺度交叉轴向注意力机制。在KITTI数据集上进行了大量的实验结果表明,所提方法在速度和准确性上都优于主流方法,有效解决了边缘信息利用不充分和多模态推理速度慢的问题,EDMR-Net在保证简单和中等难度检测性能的前提下大大提高了困难场景的检测性能。展开更多
文摘基于多模态的三维目标检测可以利用点云的几何信息和图像的语义信息。针对多模态三维目标检测中存在的边缘信息无法充分利用、异构数据融合困难、推理速度慢等问题,提出一种高效的基于边缘差分信息融合的多模态实时三维目标检测算法(multimodal real-time 3D object detection based on edge differential information fusion,EDMR-Net)。在融合阶段提出了一个差分特征增强融合模块,通过扩散函数利用图像的差分信息增强点云语义表达以实现异构数据的互补,使用丰富的边缘信息和特征的稳定状态精准定位小目标;利用自适应上下文感知网络对多模态特征进行自适应权重分配,进一步细化多尺度上下文信息;为了提升模型对细节信息的捕获能力,在浅层特征中引入了多尺度交叉轴向注意力机制。在KITTI数据集上进行了大量的实验结果表明,所提方法在速度和准确性上都优于主流方法,有效解决了边缘信息利用不充分和多模态推理速度慢的问题,EDMR-Net在保证简单和中等难度检测性能的前提下大大提高了困难场景的检测性能。
