A muitisensor image fusion algorithm is described using 2-dimensional nonseparable wavelet frame （NWF） transform. The source muitisensor images are first decomposed by the NWF transform. Then, the NWF transform coef...A muitisensor image fusion algorithm is described using 2-dimensional nonseparable wavelet frame （NWF） transform. The source muitisensor images are first decomposed by the NWF transform. Then, the NWF transform coefficients of the source images are combined into the composite NWF transform coefficients. Inverse NWF transform is performed on the composite NWF transform coefficients in order to obtain the intermediate fused image. Finally, intensity adjustment is applied to the intermediate fused image in order to maintain the dynamic intensity range. Experiment resuits using real data show that the proposed algorithm works well in muitisensor image fusion.展开更多
无人机单张图像视野有限,难以反映拍摄物体全貌,需对其图像进行拼接,以获取检测区域的完整图像。本文通过分析归纳国内外常用图像拼接处理算法,总结出包括图像预处理、相邻图像配准以及多帧图像融合的无人机图像拼接思路。图像预处理主...无人机单张图像视野有限,难以反映拍摄物体全貌,需对其图像进行拼接,以获取检测区域的完整图像。本文通过分析归纳国内外常用图像拼接处理算法,总结出包括图像预处理、相邻图像配准以及多帧图像融合的无人机图像拼接思路。图像预处理主要包括几何校正和视觉增强两大类方法。无人机图像配准领域内表现突出的主要有SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)以及ORB(Oriented FAST and Rotated BRIEF)算法。图像融合技术有直接平均法、加权平均法、基于小波变换的方法等。通过图像预处理,减少图像噪声,突出兴趣点,然后利用图像配准完成两张小图像的初步拼接,最后采用图像融合技术实现拼接位置的平滑过渡,最终获得完整大图。展开更多
煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对...煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。展开更多
文摘A muitisensor image fusion algorithm is described using 2-dimensional nonseparable wavelet frame （NWF） transform. The source muitisensor images are first decomposed by the NWF transform. Then, the NWF transform coefficients of the source images are combined into the composite NWF transform coefficients. Inverse NWF transform is performed on the composite NWF transform coefficients in order to obtain the intermediate fused image. Finally, intensity adjustment is applied to the intermediate fused image in order to maintain the dynamic intensity range. Experiment resuits using real data show that the proposed algorithm works well in muitisensor image fusion.
文摘无人机单张图像视野有限,难以反映拍摄物体全貌,需对其图像进行拼接,以获取检测区域的完整图像。本文通过分析归纳国内外常用图像拼接处理算法,总结出包括图像预处理、相邻图像配准以及多帧图像融合的无人机图像拼接思路。图像预处理主要包括几何校正和视觉增强两大类方法。无人机图像配准领域内表现突出的主要有SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)以及ORB(Oriented FAST and Rotated BRIEF)算法。图像融合技术有直接平均法、加权平均法、基于小波变换的方法等。通过图像预处理,减少图像噪声,突出兴趣点,然后利用图像配准完成两张小图像的初步拼接,最后采用图像融合技术实现拼接位置的平滑过渡,最终获得完整大图。
文摘煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。
