针对毫米波雷达和视觉传感器融合算法在特征融合层面缺乏有效监督的问题,提出了一种引入激光雷达监督的多模态融合三维目标检测算法(Radar and Camera Fusion Based on Lidar Supervision,LRCFusion)。该算法首先分别提取视觉传感器、...针对毫米波雷达和视觉传感器融合算法在特征融合层面缺乏有效监督的问题,提出了一种引入激光雷达监督的多模态融合三维目标检测算法(Radar and Camera Fusion Based on Lidar Supervision,LRCFusion)。该算法首先分别提取视觉传感器、激光雷达和毫米波雷达各自的数据特征;接着使用知识蒸馏的方法,利用激光雷达特征作为教师模型监督毫米波雷达特征,以提升毫米波雷达特征的表达水平;然后引入注意力机制实现毫米波雷达和视觉特征融合,并采用基于点云的三维物体检测方法对融合的特征进行目标检测和3D锚框预测;最后,使用预测的3D锚框更新融合前的3D参考点。与基线算法进行比较,所提算法的平均精度提高1.2%,归一化检测得分提高1%。展开更多
文摘针对毫米波雷达和视觉传感器融合算法在特征融合层面缺乏有效监督的问题,提出了一种引入激光雷达监督的多模态融合三维目标检测算法(Radar and Camera Fusion Based on Lidar Supervision,LRCFusion)。该算法首先分别提取视觉传感器、激光雷达和毫米波雷达各自的数据特征;接着使用知识蒸馏的方法,利用激光雷达特征作为教师模型监督毫米波雷达特征,以提升毫米波雷达特征的表达水平;然后引入注意力机制实现毫米波雷达和视觉特征融合,并采用基于点云的三维物体检测方法对融合的特征进行目标检测和3D锚框预测;最后,使用预测的3D锚框更新融合前的3D参考点。与基线算法进行比较,所提算法的平均精度提高1.2%,归一化检测得分提高1%。
