摘要
针对动态深度相机单帧视野受限问题,及多帧拼接中的噪声扰动,本文提出了一种基于多视角融合的大型3D目标的位姿测量与重建方法。该方法搭建了深度相机的性能梯度分层模型,采用基于点云法向量的多视角扫描位姿预测,并以高度约束的RANSAC(HC-RANSAC)拟合目标三维模型。以机械臂末端搭载的深度相机进行多角度扫描测量,并将多视角扫描采样所获数据在局部基准坐标系下进行目标模型重建。实验结果表明:与固定深度相机或基于云台视觉的三维重建相比,所提方法具有更大的重建视野和良好的重建精度,可在近距离范围中对大目标进行重建,解决了视野与精度难以兼顾的问题。
The dynamic depth camera has a limited single-frame field of view,and there is noise disturbance when stitching multiple frames.To deal with the aforementioned problems,a large-scale 3D target pose measurement and reconstruction method based on multi-view fusion is presented.This approach builds a hierarchical model of the depth camera's performance gradient,predicts the pose with a multi-view scanning method based on point cloud normal vectors,and fits 3D models of targets with height constraints RANSAC(height constraints RANSAC,HC-RANSAC).The depth camera installed on the end of the robotic manipulator scans and measures the target from various angles,and the sampled data is utilized to reconstruct the target model in the local coordinate system.Experimental results reveal that when compared to fixed-depth cameras and classical reconstruction approaches based on pan-tilt vision,the proposed approach has a larger reconstruction field of view and higher reconstruction accuracy.It can reconstruct huge targets at a close range,and get an excellent balance between field of vision and precision.
作者
张波涛
李正强
华超豪
谢佳龙
吕强
Zhang Botao;Li Zhengqiang;Hua Chaohao;Xie Jialong;Lu Qiang(School of Automation,Hangzhou Dianzi University,Hangzhou,Zhejiang 310018,China;School of Control Science and Engineering,Shandong University,Jinan,Shandong 250061,China;International Joint Laboratory of Autonomous Robotic Systems,Hangzhou Dianzi University,Hangzhou,Zhejiang 310018,China)
出处
《光电工程》
CAS
CSCD
北大核心
2024年第10期102-115,共14页
Opto-Electronic Engineering
基金
国家自然科学基金资助项目(62073108)
浙江省自然科学基金资助项目(LZ23F030004)
浙江省重点研发计划项目(2019C04018)。
关键词
机器视觉
手眼协同
多视角融合
位姿测量
machine vision
hand-eye collaboration
multi-view fusion
posture measurement
作者简介
通信作者:张波涛(1982-),男,博士,副教授,硕士生导师,目前研究方向为机器人视觉、机器人运动规划与控制等。E-mail:Billow@hdu.edu.cn;李正强(2000-),男,硕士研究生,目前研究方向为移动机械臂视觉伺服、视觉三维重建。E-mail:lizq@hdu.edu.cn;华超豪(2001-),男,硕士研究生,目前研究方向为移动机械臂的感知与控制、视觉三维重建。E-mail:232320076@hdu.edu.cn;谢佳龙(1997-),男,博士研究生,目前研究方向为云基机器人,人机交互,机械臂视觉伺服。E-mail:202220703@mail.sdu.edu.cn;吕强(1977-),男,博士,教授,目前研究方向为多机器人合作控制、群体智能技术、机器视觉等。E-mail:lvqiang@hdu.edu.cn。
