为满足自动驾驶系统的高效、准确感知的需求,如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合,实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感...为满足自动驾驶系统的高效、准确感知的需求,如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合,实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感知的准确性,还增强了系统的鲁棒性和安全性。本文提出了一种基于毫米波雷达和相机融合的自动驾驶感知算法HPR-Det(historical pillar of ray camera-radar fusion bird ’s eye view for 3D object detection)。具体而言,首先设计了雷达BEV特征提取Radar-PRANet(radar point RCS attention net),由双流雷达主干提取具有两种表征维度的雷达特征和RCS感知的BEV编码器组成,根据雷达特定的RCS特征将雷达特征分散到BEV中。其次,采用历史多帧预测范式HrOP(historical radar of object prediction),设计了长期解码器和短期解码器,同时只在训练期间执行,在推理过程中不引入额外的开销,同时由于本网络输入数据的稀疏性,引入了多模态的历史多帧输入,引导更准确的BEV特征学习。最后,提出了毫米波优化的射线去噪方法,通过将毫米波雷达点云的信息作为先验信息,使用当前帧的毫米波点云特征辅助生成提议,增强对于相机的查询特征表征。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证,在骨干为Resnet50的基础上NDS达到56.7%。展开更多
文摘为满足自动驾驶系统的高效、准确感知的需求,如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合,实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感知的准确性,还增强了系统的鲁棒性和安全性。本文提出了一种基于毫米波雷达和相机融合的自动驾驶感知算法HPR-Det(historical pillar of ray camera-radar fusion bird ’s eye view for 3D object detection)。具体而言,首先设计了雷达BEV特征提取Radar-PRANet(radar point RCS attention net),由双流雷达主干提取具有两种表征维度的雷达特征和RCS感知的BEV编码器组成,根据雷达特定的RCS特征将雷达特征分散到BEV中。其次,采用历史多帧预测范式HrOP(historical radar of object prediction),设计了长期解码器和短期解码器,同时只在训练期间执行,在推理过程中不引入额外的开销,同时由于本网络输入数据的稀疏性,引入了多模态的历史多帧输入,引导更准确的BEV特征学习。最后,提出了毫米波优化的射线去噪方法,通过将毫米波雷达点云的信息作为先验信息,使用当前帧的毫米波点云特征辅助生成提议,增强对于相机的查询特征表征。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证,在骨干为Resnet50的基础上NDS达到56.7%。
文摘为了应对复杂动态环境下红外与可见光双模态目标检测的挑战,特别是目标特征表达不足以及红外可见光特征在双模态融合中无法充分利用互补特征导致漏检和误检的问题,提出了一种用于目标检测的双分支特征增强与融合网络(Dual-Branch Feature Enhancement and Fusion,DBEF-Net)。针对模型对红外和可见光特征关注度不足的问题,设计了一种特征交互增强模块,该模块能够有效地关注并增强双模态特征中的有用信息。同时,为了更有效地利用双模态的互补特征,采用基于Transformer的双模态融合网络,并引入交叉注意力机制,以实现模态间的深度融合。实验结果表明,在SYUGV数据集上,与现有双模态目标检测算法相比,本文方法的平均检测精度更高,处理速度也能满足实时检测的需求。
