为满足自动驾驶系统的高效、准确感知的需求,如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合,实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感...为满足自动驾驶系统的高效、准确感知的需求,如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合,实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感知的准确性,还增强了系统的鲁棒性和安全性。本文提出了一种基于毫米波雷达和相机融合的自动驾驶感知算法HPR-Det(historical pillar of ray camera-radar fusion bird ’s eye view for 3D object detection)。具体而言,首先设计了雷达BEV特征提取Radar-PRANet(radar point RCS attention net),由双流雷达主干提取具有两种表征维度的雷达特征和RCS感知的BEV编码器组成,根据雷达特定的RCS特征将雷达特征分散到BEV中。其次,采用历史多帧预测范式HrOP(historical radar of object prediction),设计了长期解码器和短期解码器,同时只在训练期间执行,在推理过程中不引入额外的开销,同时由于本网络输入数据的稀疏性,引入了多模态的历史多帧输入,引导更准确的BEV特征学习。最后,提出了毫米波优化的射线去噪方法,通过将毫米波雷达点云的信息作为先验信息,使用当前帧的毫米波点云特征辅助生成提议,增强对于相机的查询特征表征。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证,在骨干为Resnet50的基础上NDS达到56.7%。展开更多
文摘为满足自动驾驶系统的高效、准确感知的需求,如果仅依靠相机很难实现高精度和鲁棒的3D目标检测。解决这一问题的有效方法是将相机与经济型毫米波雷达传感器相结合,实现更可靠的多模态三维目标检测。融合两者的检测方式不仅提升了环境感知的准确性,还增强了系统的鲁棒性和安全性。本文提出了一种基于毫米波雷达和相机融合的自动驾驶感知算法HPR-Det(historical pillar of ray camera-radar fusion bird ’s eye view for 3D object detection)。具体而言,首先设计了雷达BEV特征提取Radar-PRANet(radar point RCS attention net),由双流雷达主干提取具有两种表征维度的雷达特征和RCS感知的BEV编码器组成,根据雷达特定的RCS特征将雷达特征分散到BEV中。其次,采用历史多帧预测范式HrOP(historical radar of object prediction),设计了长期解码器和短期解码器,同时只在训练期间执行,在推理过程中不引入额外的开销,同时由于本网络输入数据的稀疏性,引入了多模态的历史多帧输入,引导更准确的BEV特征学习。最后,提出了毫米波优化的射线去噪方法,通过将毫米波雷达点云的信息作为先验信息,使用当前帧的毫米波点云特征辅助生成提议,增强对于相机的查询特征表征。本文所提出的算法在大规模公开数据集nuScenes上进行模型训练和实验验证,在骨干为Resnet50的基础上NDS达到56.7%。
