为了快速准确地检测无人驾驶方程式大赛中赛道锥桶的特征信息,提出一种融合激光雷达点云数据和相机图像数据的检测方法.首先对点云数据进行感兴趣区域(region of interest, ROI)提取并对噪点进行滤波,针对目前地面欠分割和过分割问题引...为了快速准确地检测无人驾驶方程式大赛中赛道锥桶的特征信息,提出一种融合激光雷达点云数据和相机图像数据的检测方法.首先对点云数据进行感兴趣区域(region of interest, ROI)提取并对噪点进行滤波,针对目前地面欠分割和过分割问题引入自适应地面分割算法,并采用欧式聚类对锥桶空间位置信息进行提取;其次采集和标注图像数据集,并使用YOLOv5进行训练后检测,完成锥桶颜色信息的提取;然后将激光雷达检测的锥桶空间位置信息和相机检测的锥桶颜色信息进行融合;最后设计试验进行验证,结果表明:所提出的融合检测方法能够弥补单传感器检测锥桶带来的问题,快速准确地检测出赛道中的锥桶,为规划和决策提供了保障.展开更多
由于激光点云数据具有一定的离散性和冗余性,在进行图像目标检测时,通常会因对点云数据滤波程度较低而导致检测精度不佳。对此,提出基于计算机图像融合的激光点云数据处理与目标检测方法。首先对高斯卷积核尺寸进行设定,并通过调整高斯...由于激光点云数据具有一定的离散性和冗余性,在进行图像目标检测时,通常会因对点云数据滤波程度较低而导致检测精度不佳。对此,提出基于计算机图像融合的激光点云数据处理与目标检测方法。首先对高斯卷积核尺寸进行设定,并通过调整高斯核的方差以及半径对滤波效果进行优化,同时结合线性插值算法计算出相邻点云数据间的插值,增加激光点云数据的密度。然后采用SURF(Speeded Up Robust Features)算法对Hessian矩阵行列式的局部极大值进行检测,从而定位出特征点。将匹配的特征点的描述符进行加权平均操作,通过计算融合后特征点之间的相似度,实现特征点映射匹配处理。最后采用仿射变换矩阵对匹配点的几何关系进行计算,实现目标区域定位。同时针对像素值的类间方差设定分割阈值,从而实现目标区域提取与检测。在实验中,对提出方法进行了检测精度的检验。最终的测试结果表明,采用提出方法对图像进行目标检测时,算法的IoU(Intersection over Union)值较高,具备较为理想的目标检测精度。展开更多
煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对...煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。展开更多
文摘为了快速准确地检测无人驾驶方程式大赛中赛道锥桶的特征信息,提出一种融合激光雷达点云数据和相机图像数据的检测方法.首先对点云数据进行感兴趣区域(region of interest, ROI)提取并对噪点进行滤波,针对目前地面欠分割和过分割问题引入自适应地面分割算法,并采用欧式聚类对锥桶空间位置信息进行提取;其次采集和标注图像数据集,并使用YOLOv5进行训练后检测,完成锥桶颜色信息的提取;然后将激光雷达检测的锥桶空间位置信息和相机检测的锥桶颜色信息进行融合;最后设计试验进行验证,结果表明:所提出的融合检测方法能够弥补单传感器检测锥桶带来的问题,快速准确地检测出赛道中的锥桶,为规划和决策提供了保障.
文摘由于激光点云数据具有一定的离散性和冗余性,在进行图像目标检测时,通常会因对点云数据滤波程度较低而导致检测精度不佳。对此,提出基于计算机图像融合的激光点云数据处理与目标检测方法。首先对高斯卷积核尺寸进行设定,并通过调整高斯核的方差以及半径对滤波效果进行优化,同时结合线性插值算法计算出相邻点云数据间的插值,增加激光点云数据的密度。然后采用SURF(Speeded Up Robust Features)算法对Hessian矩阵行列式的局部极大值进行检测,从而定位出特征点。将匹配的特征点的描述符进行加权平均操作,通过计算融合后特征点之间的相似度,实现特征点映射匹配处理。最后采用仿射变换矩阵对匹配点的几何关系进行计算,实现目标区域定位。同时针对像素值的类间方差设定分割阈值,从而实现目标区域提取与检测。在实验中,对提出方法进行了检测精度的检验。最终的测试结果表明,采用提出方法对图像进行目标检测时,算法的IoU(Intersection over Union)值较高,具备较为理想的目标检测精度。
文摘煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。
