针对传统位姿估计方法中依赖CAD模型的问题,提出基于多视图几何的双目数据集制作方法及基于3D关键点的物体6D位姿估计网络StereoNet.通过3D关键点估计网络获取物体的3D关键点,在网络中引入视差注意模块,提高关键点预测的精度.采用运动...针对传统位姿估计方法中依赖CAD模型的问题,提出基于多视图几何的双目数据集制作方法及基于3D关键点的物体6D位姿估计网络StereoNet.通过3D关键点估计网络获取物体的3D关键点,在网络中引入视差注意模块,提高关键点预测的精度.采用运动恢复结构(SfM)方法重建物体的稀疏点云模型,将查询图像的3D点与SfM模型中的3D点输入图注意力网络(GATs)中进行匹配,通过RANSAC和PnP算法计算得到物体的6D位姿.实验结果表明,当对3D关键点估计时,StereoNet的MAE评价指标较KeypointNet、KeyPose高1.2~1.6倍.在6D位姿估计方面,StereoNet的5 cm 5°和3 cm 3°评价指标均优于HLoc、OnePose、Gen6D,平均精确度达到82.1%,证明该网络具有良好的泛化性和准确性.展开更多
变电站室内无人机巡检可有效降低人工巡检作业强度。由于飞行精度要求高,搭载能力有限,仅依靠无人机搭载摄像头与惯性测量单元(inertial measurement unit, IMU)数据融合确定位姿无法满足精度要求,为此,提出基于变电站室内已有固定摄像...变电站室内无人机巡检可有效降低人工巡检作业强度。由于飞行精度要求高,搭载能力有限,仅依靠无人机搭载摄像头与惯性测量单元(inertial measurement unit, IMU)数据融合确定位姿无法满足精度要求,为此,提出基于变电站室内已有固定摄像头的泛在物联的多视觉-惯导融合框架,针对室内光线情况对无人机摄像头图像进行强化,并与IMU数据结合得到初步的无人机位置数据。进一步通过在无人机上布设二维码(quick response code,QR码),应用改进后的PnP(perspective-n-point)算法优化无人机位姿数据。飞行结束后在无人机机巢对IMU的累计误差进行校验。实验证明:该方法布设与维护的工作量小,相较仅依靠搭载摄像头与IMU数据融合算法,飞行精度有较大提高,可满足变电站内无人机巡检作业的需要。展开更多
文摘针对传统位姿估计方法中依赖CAD模型的问题,提出基于多视图几何的双目数据集制作方法及基于3D关键点的物体6D位姿估计网络StereoNet.通过3D关键点估计网络获取物体的3D关键点,在网络中引入视差注意模块,提高关键点预测的精度.采用运动恢复结构(SfM)方法重建物体的稀疏点云模型,将查询图像的3D点与SfM模型中的3D点输入图注意力网络(GATs)中进行匹配,通过RANSAC和PnP算法计算得到物体的6D位姿.实验结果表明,当对3D关键点估计时,StereoNet的MAE评价指标较KeypointNet、KeyPose高1.2~1.6倍.在6D位姿估计方面,StereoNet的5 cm 5°和3 cm 3°评价指标均优于HLoc、OnePose、Gen6D,平均精确度达到82.1%,证明该网络具有良好的泛化性和准确性.
