为了快速准确地检测无人驾驶方程式大赛中赛道锥桶的特征信息,提出一种融合激光雷达点云数据和相机图像数据的检测方法.首先对点云数据进行感兴趣区域(region of interest, ROI)提取并对噪点进行滤波,针对目前地面欠分割和过分割问题引...为了快速准确地检测无人驾驶方程式大赛中赛道锥桶的特征信息,提出一种融合激光雷达点云数据和相机图像数据的检测方法.首先对点云数据进行感兴趣区域(region of interest, ROI)提取并对噪点进行滤波,针对目前地面欠分割和过分割问题引入自适应地面分割算法,并采用欧式聚类对锥桶空间位置信息进行提取;其次采集和标注图像数据集,并使用YOLOv5进行训练后检测,完成锥桶颜色信息的提取;然后将激光雷达检测的锥桶空间位置信息和相机检测的锥桶颜色信息进行融合;最后设计试验进行验证,结果表明:所提出的融合检测方法能够弥补单传感器检测锥桶带来的问题,快速准确地检测出赛道中的锥桶,为规划和决策提供了保障.展开更多
在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段...在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.展开更多
为有效解决单一传感器同时定位与地图构建(simultaneous localization and mapping, SLAM)定位精度低、障碍物识别不全问题,提出一种多传感器融合的SLAM方法。通过将RGB-D相机采集的点云进行降采样、滤波处理,极大降低算法的计算量。利...为有效解决单一传感器同时定位与地图构建(simultaneous localization and mapping, SLAM)定位精度低、障碍物识别不全问题,提出一种多传感器融合的SLAM方法。通过将RGB-D相机采集的点云进行降采样、滤波处理,极大降低算法的计算量。利用点云库对激光点云和降采样RGB-D相机点云进行融合,融合的点云利用PL-ICP完成点云配准,提高对外部环境的准确识别。利用扩展卡尔曼滤波融合IMU和轮式里程计与点云进行位姿匹配,保证定位的精度。实验结果表明,该方法可以有效提高对室内建图和导航的精度。展开更多
文摘为了快速准确地检测无人驾驶方程式大赛中赛道锥桶的特征信息,提出一种融合激光雷达点云数据和相机图像数据的检测方法.首先对点云数据进行感兴趣区域(region of interest, ROI)提取并对噪点进行滤波,针对目前地面欠分割和过分割问题引入自适应地面分割算法,并采用欧式聚类对锥桶空间位置信息进行提取;其次采集和标注图像数据集,并使用YOLOv5进行训练后检测,完成锥桶颜色信息的提取;然后将激光雷达检测的锥桶空间位置信息和相机检测的锥桶颜色信息进行融合;最后设计试验进行验证,结果表明:所提出的融合检测方法能够弥补单传感器检测锥桶带来的问题,快速准确地检测出赛道中的锥桶,为规划和决策提供了保障.
文摘在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.
文摘为有效解决单一传感器同时定位与地图构建(simultaneous localization and mapping, SLAM)定位精度低、障碍物识别不全问题,提出一种多传感器融合的SLAM方法。通过将RGB-D相机采集的点云进行降采样、滤波处理,极大降低算法的计算量。利用点云库对激光点云和降采样RGB-D相机点云进行融合,融合的点云利用PL-ICP完成点云配准,提高对外部环境的准确识别。利用扩展卡尔曼滤波融合IMU和轮式里程计与点云进行位姿匹配,保证定位的精度。实验结果表明,该方法可以有效提高对室内建图和导航的精度。
