煤矿井下弥漫着粉尘和雾气且多数区域为狭长巷道,仅依赖矿灯照明会导致视频监控图像出现细节模糊、局部过曝及目标尺寸多变等问题。这些因素增加了井下安全帽目标检测的难度,现有目标检测算法直接应用于煤矿井下场景时,通常面临精度不...煤矿井下弥漫着粉尘和雾气且多数区域为狭长巷道,仅依赖矿灯照明会导致视频监控图像出现细节模糊、局部过曝及目标尺寸多变等问题。这些因素增加了井下安全帽目标检测的难度,现有目标检测算法直接应用于煤矿井下场景时,通常面临精度不足的挑战。针对这些问题,研究提出一种基于YOLOv8n(You Only Look Once version 8n)的煤矿井下安全帽检测算法。首先,采用空间到深度机制将YOLOv8n主干网络中的Conv模块重新构建为空间到深度卷积(Space-to-Depth Convolutional,SPDConv)模块,以便从特征图中充分提取浅层细节信息,提高模型对细节模糊图像中小目标安全帽的检测精度;其次,引入基于注意力机制的尺度内特征交互模块,减少局部过曝对安全帽特征提取的干扰,增强模型对目标区域的关注能力;最后,借鉴高层次筛选特征融合金字塔对YOLOv8n的颈部网络进行重设计,改善模型对不同尺寸安全帽的检测能力,进一步提升检测精度。试验结果显示,该算法在CUMT-Helme T数据集上的平均精度均值达91.7%,相较于YOLOv8n提升了3.2百分点,同时模型参数量减少了1.9×10^(5)。与单次多边框检测(Single Shot MultiBox Detector,SSD)、快速区域卷积神经网络(Region-based Convolutional Neural Networks,Faster RCNN)、YOLOv5s、YOLOv6n、YOLOv7及YOLOv7-tiny等当前主流目标检测算法相比,该算法的平均精度均值最高,且参数量和浮点运算量较低,在实现较高检测精度的同时还具备一定的轻量化特性。展开更多
在智慧矿山建设的背景下,智能化设备的应用日益成为矿山智慧化改造的主要内容,用于巡检、危险区域勘测等任务的煤矿井下智能机器人运行依赖于数字地图构建和机器人自身定位,但大多数传统的定位方法在煤矿井下出现了低效甚至失效的情况,...在智慧矿山建设的背景下,智能化设备的应用日益成为矿山智慧化改造的主要内容,用于巡检、危险区域勘测等任务的煤矿井下智能机器人运行依赖于数字地图构建和机器人自身定位,但大多数传统的定位方法在煤矿井下出现了低效甚至失效的情况,同步定位与建图技术(Simultaneous Localization and Mapping,SLAM)成为了煤矿井下智能机器人定位方法的较优选择。然而,受制于激光雷达的高成本,以及相机在井下的低光照环境性能不佳,需要设计一种兼顾低成本和具有井下低光照环境适应性的SLAM定位方法,故提出了一种具有井下暗光照适应性煤矿井下机器人定位方法。首先,采集了陕西省宝鸡市凤县某煤矿井下的实景图像和SLAM所需的相机与IMU数据,根据图像制作了非匹配的暗光与正常光数据集,经过数据扩增达到3560张图像。设计了结合自注意力模块的EnlightenGAN图像增强网络,在不依赖配对数据集的情况下兼顾图像不同区域的依赖关系应对图像光照不均区域。在ORB-SLAM3框架的基础上,引入全局部图像检测对输入图像进行筛分,引入基于解析解的IMU初始化改进策略提高初始化速度,并引入了改进的图像增强网络对低光照以及光照不均的图像进行增强处理。在EuRoC数据集上的试验表明,基于图像增强的煤矿井下智能机器人定位方法能够在低光照环境下降低13.7%的ERMS和15.24%的ESD。在2个实际煤矿巷道场景中,系统能够识别低光照环境、增加SLAM系统提取的特征点数量,减少定位轨迹的漂移现象,最终改善系统在巷道低光照区域的定位效果。展开更多
煤矿智能化的重大需求对煤矿井下移动机器人智能感知提出了更高的要求,视觉同时定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)是煤矿机器人智能感知的关键技术。然而,煤矿井下存在非结构化环境特征、纹理弱、光照不...煤矿智能化的重大需求对煤矿井下移动机器人智能感知提出了更高的要求,视觉同时定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)是煤矿机器人智能感知的关键技术。然而,煤矿井下存在非结构化环境特征、纹理弱、光照不均匀、空间狭小等问题,现有依赖启发式阈值进行关键帧选取的方法无法满足煤矿下视觉SLAM的定位与建图需求。为此,提出一种煤矿井下多重约束的视觉SLAM关键帧选取方法,实现了煤矿井下移动机器人实时稳健的位姿估计,并为煤矿井下数字孪生提供数据基础。首先,提出的方法根据几何结构约束,采用自适应阈值取代静态启发式阈值进行关键帧选取,以实现视觉SLAM关键帧选取的有效性和鲁棒性。其次,通过重心平衡原则对有效特征点分布进行均匀化处理,以进一步确保视觉SLAM关键帧选取的稳定性以及创建地图点的稠密性和准确性。最后,利用航向角阈值对转向处做进一步约束,降低视角突变对视觉SLAM精度的影响。为验证本文方法的有效性,利用自主搭建的移动机器人数据采集平台在室内场景及煤矿井下分别进行了实验,并从绝对轨迹误差(Absolute Trajectory Error,ATE)和均方根误差(Root Mean Square Error,RMSE)等方面进行了定量和定性评价。结果表明:相比于启发式视觉SLAM关键帧选取方法,提出的方法在室内场景中轨迹RMSE提高了29%,在煤矿井下环境中轨迹RMSE提高了44%,具有较高的鲁棒性、定位精度和全局一致的建图效果。展开更多
文摘煤矿井下弥漫着粉尘和雾气且多数区域为狭长巷道,仅依赖矿灯照明会导致视频监控图像出现细节模糊、局部过曝及目标尺寸多变等问题。这些因素增加了井下安全帽目标检测的难度,现有目标检测算法直接应用于煤矿井下场景时,通常面临精度不足的挑战。针对这些问题,研究提出一种基于YOLOv8n(You Only Look Once version 8n)的煤矿井下安全帽检测算法。首先,采用空间到深度机制将YOLOv8n主干网络中的Conv模块重新构建为空间到深度卷积(Space-to-Depth Convolutional,SPDConv)模块,以便从特征图中充分提取浅层细节信息,提高模型对细节模糊图像中小目标安全帽的检测精度;其次,引入基于注意力机制的尺度内特征交互模块,减少局部过曝对安全帽特征提取的干扰,增强模型对目标区域的关注能力;最后,借鉴高层次筛选特征融合金字塔对YOLOv8n的颈部网络进行重设计,改善模型对不同尺寸安全帽的检测能力,进一步提升检测精度。试验结果显示,该算法在CUMT-Helme T数据集上的平均精度均值达91.7%,相较于YOLOv8n提升了3.2百分点,同时模型参数量减少了1.9×10^(5)。与单次多边框检测(Single Shot MultiBox Detector,SSD)、快速区域卷积神经网络(Region-based Convolutional Neural Networks,Faster RCNN)、YOLOv5s、YOLOv6n、YOLOv7及YOLOv7-tiny等当前主流目标检测算法相比,该算法的平均精度均值最高,且参数量和浮点运算量较低,在实现较高检测精度的同时还具备一定的轻量化特性。
文摘在智慧矿山建设的背景下,智能化设备的应用日益成为矿山智慧化改造的主要内容,用于巡检、危险区域勘测等任务的煤矿井下智能机器人运行依赖于数字地图构建和机器人自身定位,但大多数传统的定位方法在煤矿井下出现了低效甚至失效的情况,同步定位与建图技术(Simultaneous Localization and Mapping,SLAM)成为了煤矿井下智能机器人定位方法的较优选择。然而,受制于激光雷达的高成本,以及相机在井下的低光照环境性能不佳,需要设计一种兼顾低成本和具有井下低光照环境适应性的SLAM定位方法,故提出了一种具有井下暗光照适应性煤矿井下机器人定位方法。首先,采集了陕西省宝鸡市凤县某煤矿井下的实景图像和SLAM所需的相机与IMU数据,根据图像制作了非匹配的暗光与正常光数据集,经过数据扩增达到3560张图像。设计了结合自注意力模块的EnlightenGAN图像增强网络,在不依赖配对数据集的情况下兼顾图像不同区域的依赖关系应对图像光照不均区域。在ORB-SLAM3框架的基础上,引入全局部图像检测对输入图像进行筛分,引入基于解析解的IMU初始化改进策略提高初始化速度,并引入了改进的图像增强网络对低光照以及光照不均的图像进行增强处理。在EuRoC数据集上的试验表明,基于图像增强的煤矿井下智能机器人定位方法能够在低光照环境下降低13.7%的ERMS和15.24%的ESD。在2个实际煤矿巷道场景中,系统能够识别低光照环境、增加SLAM系统提取的特征点数量,减少定位轨迹的漂移现象,最终改善系统在巷道低光照区域的定位效果。
文摘煤矿智能化的重大需求对煤矿井下移动机器人智能感知提出了更高的要求,视觉同时定位与建图(Visual Simultaneous Localization and Mapping,VSLAM)是煤矿机器人智能感知的关键技术。然而,煤矿井下存在非结构化环境特征、纹理弱、光照不均匀、空间狭小等问题,现有依赖启发式阈值进行关键帧选取的方法无法满足煤矿下视觉SLAM的定位与建图需求。为此,提出一种煤矿井下多重约束的视觉SLAM关键帧选取方法,实现了煤矿井下移动机器人实时稳健的位姿估计,并为煤矿井下数字孪生提供数据基础。首先,提出的方法根据几何结构约束,采用自适应阈值取代静态启发式阈值进行关键帧选取,以实现视觉SLAM关键帧选取的有效性和鲁棒性。其次,通过重心平衡原则对有效特征点分布进行均匀化处理,以进一步确保视觉SLAM关键帧选取的稳定性以及创建地图点的稠密性和准确性。最后,利用航向角阈值对转向处做进一步约束,降低视角突变对视觉SLAM精度的影响。为验证本文方法的有效性,利用自主搭建的移动机器人数据采集平台在室内场景及煤矿井下分别进行了实验,并从绝对轨迹误差(Absolute Trajectory Error,ATE)和均方根误差(Root Mean Square Error,RMSE)等方面进行了定量和定性评价。结果表明:相比于启发式视觉SLAM关键帧选取方法,提出的方法在室内场景中轨迹RMSE提高了29%,在煤矿井下环境中轨迹RMSE提高了44%,具有较高的鲁棒性、定位精度和全局一致的建图效果。
