视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基...视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。展开更多
传统视觉即时定位与建图(SLAM)算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法.前端估计时,对相邻帧图像进行ORB(oriente...传统视觉即时定位与建图(SLAM)算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法.前端估计时,对相邻帧图像进行ORB(oriented fast and rotated brief)特征提取与匹配,对匹配成功的特征点进行PnP(perspective-n-point)求解,获得相机运动估计并筛选出关键帧图像;后端优化时,利用SqueezeNet卷积神经网络(CNN)提取图像的特征向量,计算余弦相似度判断是否出现回环,若出现回环则在位姿图中增加相应约束,利用图优化理论对全局位姿进行整体优化;最后利用项目组制作的数据集和TUM(technical university of munich)公开数据集进行测试与对比.研究结果表明:相比于无回环检测算法,本文方法可以成功检测到回环并为全局轨迹优化增添约束;相比于传统词袋法,在回环检测准确率相同的情况下,本文方法召回率可提高21%且计算耗时减少74%;与RGB-D(red green blue-depth)SLAM算法相比,本文方法建图误差可降低29%.展开更多
文摘视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。
文摘传统视觉即时定位与建图(SLAM)算法若无回环检测可能会存在累积误差无法消除的现象,即使有回环检测,也因准确率和效率比较低而无法应用于轻量级设备上,为此,研究一种回环检测优化的视觉SLAM算法.前端估计时,对相邻帧图像进行ORB(oriented fast and rotated brief)特征提取与匹配,对匹配成功的特征点进行PnP(perspective-n-point)求解,获得相机运动估计并筛选出关键帧图像;后端优化时,利用SqueezeNet卷积神经网络(CNN)提取图像的特征向量,计算余弦相似度判断是否出现回环,若出现回环则在位姿图中增加相应约束,利用图优化理论对全局位姿进行整体优化;最后利用项目组制作的数据集和TUM(technical university of munich)公开数据集进行测试与对比.研究结果表明:相比于无回环检测算法,本文方法可以成功检测到回环并为全局轨迹优化增添约束;相比于传统词袋法,在回环检测准确率相同的情况下,本文方法召回率可提高21%且计算耗时减少74%;与RGB-D(red green blue-depth)SLAM算法相比,本文方法建图误差可降低29%.
