基于改进Mask R-CNN的低空遥感实例分割算法

1

作者 李冰锋 王光耀 崔立志 《兵器装备工程学报》 北大核心 2025年第2期168-176,共9页

针对遥感领域图像目标繁杂、检测和分割精度不高的问题,提出一种改进Mask R-CNN算法。设计PMResNet-50结构作为主干网络,其中金字塔挤压注意模块可以促进局部和全局通道注意之间的信息交互作用,多层次特征聚合模块可以提高PMResNet-50... 针对遥感领域图像目标繁杂、检测和分割精度不高的问题,提出一种改进Mask R-CNN算法。设计PMResNet-50结构作为主干网络,其中金字塔挤压注意模块可以促进局部和全局通道注意之间的信息交互作用,多层次特征聚合模块可以提高PMResNet-50对输入通道语义信息的高效聚合作用。在RoI Align前引入自校准卷积模块来扩大卷积层的感受野大小并对边界框和掩码框执行校准操作。在分割分支使用掩码预测平衡损失函数,对每个类别的正负样本梯度进行平衡,实现对损失梯度的平滑降低处理。在自建低空遥感数据集和iSAID-Reduce100数据集上进行测试,实验结果表明:改进后的算法在自建数据集上box AP和mask AP分别提升17.9%和15.0%,在iSAID-Reduce100数据集上box AP和mask AP达到49.62%和50.27%,该算法很好地完成了对遥感目标的检测和分割。 展开更多

关键词 深度学习 图像处理 遥感图像 实例分割 改进Mask R-CNN算法 ResNet-50

在线阅读 下载PDF 职称材料

基于BlendMask与改进Super4PCS的物体位姿估计方法

2

作者 郑银环 张帅彬 +1 位作者 吴飞 陈恩杰 《合肥工业大学学报(自然科学版)》 北大核心 2025年第1期10-18,58,共10页

针对工业上常见的散乱堆叠工件的位姿估计和无序分拣问题,文章提出一种基于BlendMask实例分割算法与改进Super 4PCS(super 4-points congruent sets)点云配准算法的物体位姿估计方法。利用BlendMask实例分割算法分割目标工件并构建工件... 针对工业上常见的散乱堆叠工件的位姿估计和无序分拣问题,文章提出一种基于BlendMask实例分割算法与改进Super 4PCS(super 4-points congruent sets)点云配准算法的物体位姿估计方法。利用BlendMask实例分割算法分割目标工件并构建工件表面点云;定义抓取分数选择最上层工件作为抓取对象,实现机器人自上而下抓取;针对不同形状的目标工件,基于相似匹配度函数选择模板点云;融合Super 4PCS与正态分布转换(normal distributions transform,NDT)算法完成目标点云和模板点云在低重合率情况下的精确配准,获取目标工件的抓取位姿;并针对Super 4PCS算法粗配准时速度较慢的问题,通过对体素滤波后的目标点云和模板点云提取3D内部形状描述子(intrinsic shape signatures,ISS)作为点云配准算法的输入点集来提高算法的配准速度。点云配准实验和机器人无序分拣实验结果表明,文章提出的物体位姿估计方法可以快速、准确地完成目标工件的位姿估计和无序分拣任务,配准算法均方根误差(root mean square error,RMSE)小于3.8 mm,位姿估计所需时间小于5.8 s,性能满足实际应用要求。 展开更多

关键词 散乱堆叠工件 位姿估计 无序分拣 blendmask实例分割算法 Super 4PCS算法 点云配准

在线阅读 下载PDF 职称材料

基于深度学习的水域实例分割尾矿库干滩长度测量 被引量：1

3

作者 孙叶青 陈洪飞 童仁园 《计量学报》 CSCD 北大核心 2024年第11期1607-1614,共8页

提出了基于YOLOv8的水域实例分割方法,实现了在实时视频流下快速、高效、准确的尾矿库干滩长度测量。首先,完成一份高质量水域实例分割的COCO数据集;其次,分析主流深度学习实例分割算法,选用YOLOv8模型训练出高效识别水线并输出图像坐标... 提出了基于YOLOv8的水域实例分割方法,实现了在实时视频流下快速、高效、准确的尾矿库干滩长度测量。首先,完成一份高质量水域实例分割的COCO数据集;其次,分析主流深度学习实例分割算法,选用YOLOv8模型训练出高效识别水线并输出图像坐标;最后,标定相机内外参数,应用相机成像原理,在尾矿库尾部安装监控摄像头,预测出干滩长度。实验证明:此模型不仅能够准确预测出干滩长度,并且对不同尾矿库水域边界分割有较好的稳定性;对实时视频流模式下的野外非接触式测量具有较好的效果,误差控制在2%以内。 展开更多

关键词 长度测量 水域实例分割 干滩长度 尾矿库 COCO数据集 YOLOv8算法 实时视频流

在线阅读 下载PDF 职称材料

基于改进实例分割算法的智能猪只盘点系统设计 被引量：22

4

作者 胡云鸽 苍岩 乔玉龙 《农业工程学报》 EI CAS CSCD 北大核心 2020年第19期177-183,共7页

基于图像处理的动物资产计数方法,不仅可以减少人工投入,还可以缩短生物资产的计数周期,但该方法受光照条件影响严重,并且当动物间相互挤压、遮挡时,计数精度较差。针对这些问题,该研究提出了一种基于图像实例分割算法的生猪计数网络。... 基于图像处理的动物资产计数方法,不仅可以减少人工投入,还可以缩短生物资产的计数周期,但该方法受光照条件影响严重,并且当动物间相互挤压、遮挡时,计数精度较差。针对这些问题,该研究提出了一种基于图像实例分割算法的生猪计数网络。针对光照和目标边缘模糊问题,利用拉普拉斯算子进行图像预处理。对Mask R-CNN网络的特征提取网络进行改进,在原始特征金字塔网络(Feature Pyramid Network,FPN)后面增加一条自底向上的增强路径,直接将低层边缘位置特征与高层特征相融合,提高对目标边缘轮廓的识别能力,对非极大值抑制过程和损失函数进行优化和改进,以提高分割精度。在河北丰宁、吉林金源和内蒙古正大3个试验猪场进行测试,验证本文网络的计数精度。采集设备在3个试验猪场共采集2400张图像,经图像预处理去除模糊和光线差的图像,从剩余的图像中随机选取共1250张图像作为原始数据集,其中丰宁猪场500张、金源猪场500张,正大猪场250张。将各猪场的原始数据集分别按2:2:1的比例分为3部分,包括训练集905张,验证集95张,测试集250张,对原始训练集和验证集进行数据增强,最终得到训练集图像1500张,验证集图像150张,测试集图想250张。河北和吉林的试验猪场,每栏猪只数目为12~22头,各测试100张图像,完全准确清点的图像比例分别为98%和99%,满足实际应用要求。内蒙古试验猪场的单栏猪只密度大,每栏猪只数目平均80头,测试50张图像,完全准确清点的图像比例为86%。该研究所提出的猪只盘点系统,通过修改网络增强图像中目标特征信息提取和优化边界框回归过程,减少由于光线差和遮挡导致的目标漏检情况,解决了基于图像分割算法的猪只盘点中光照、模糊以及遮挡等问题,能够满足单栏饲养密度为1.03~1.32头/m^2的养殖场的猪只盘点需求。 展开更多

关键词 图像处理 算法 目标检测 实例分割 猪只计数 深度学习 特征金字塔网络

在线阅读 下载PDF 职称材料

一种融合检测、跟踪与分割的行人多任务算法

5

作者 张泽华 李向阳 《计算机应用与软件》 北大核心 2024年第6期230-236,272,共8页

随着图像处理算法需求的增长,单个视觉算法往往难以满足任务需求,针对该现象,提出一种同时具备检测、实例分割和多目标跟踪的多任务处理算法。算法采用Anchor Free的框架实现一阶段的检测、分割与跟踪,使用基于网格的预测策略降低多任... 随着图像处理算法需求的增长,单个视觉算法往往难以满足任务需求,针对该现象,提出一种同时具备检测、实例分割和多目标跟踪的多任务处理算法。算法采用Anchor Free的框架实现一阶段的检测、分割与跟踪,使用基于网格的预测策略降低多任务分支带来的计算量增加,降低了模型部署的算力需求。跟踪分支采用词嵌入的方式对跟踪对象进行编码,根据编码间的距离进行关联。分割分支采用Mask系数和原始掩膜组合的方式,平衡了算法运行的精度和速度。实验表明,该多任务算法在实时运行的基础上能够满足一定的精度需求。 展开更多

关键词 多任务算法 实例分割 多目标跟踪

在线阅读 下载PDF 职称材料

改进Mask RCNN算法及其在行人实例分割中的应用 被引量：15

6

作者 音松 陈雪云 贝学宇 《计算机工程》 CAS CSCD 北大核心 2021年第6期271-276,283,共7页

Mask RCNN算法在特征提取过程中存在语义信息丢失的问题,而自然场景中的行人具有姿态不同、遮挡和背景复杂等特点,导致算法应用于行人实例分割时检测准确性较差。对此,提出一种改进的Mask RCNN算法。在Mask RCNN网络的Mask分支中增加串... Mask RCNN算法在特征提取过程中存在语义信息丢失的问题,而自然场景中的行人具有姿态不同、遮挡和背景复杂等特点,导致算法应用于行人实例分割时检测准确性较差。对此,提出一种改进的Mask RCNN算法。在Mask RCNN网络的Mask分支中增加串联特征金字塔网络(CFPN)模块,对网络生成的多层特征进行融合,充分利用不同特征层的语义信息。在此基础上,执行RoI Align操作生成行人掩膜。仿照COCO数据集,从生活场景中拍摄1000张图片,自建一个新的行人数据集。基于该数据集的实验结果表明,改进算法较原算法具有更高的检测精确率。 展开更多

关键词 行人实例分割 Mask RCNN算法 特征融合 目标检测 串联特征金字塔网络

在线阅读 下载PDF 职称材料

基于实例分割的柑橘花朵识别及花量统计 被引量：29

7

作者 邓颖 吴华瑞 朱华吉 《农业工程学报》 EI CAS CSCD 北大核心 2020年第7期200-207,共8页

柑橘隔年结果现象严重,花量统计有助于果园的规划管理,并对产量预测有重要意义,但是柑橘单一植株花量巨大,花朵紧凑密集,花期树叶遮挡覆盖,对花量计算造成很大的阻碍。对此该研究提出基于实例分割的柑橘花朵识别与花量统计方法,以花期... 柑橘隔年结果现象严重,花量统计有助于果园的规划管理,并对产量预测有重要意义,但是柑橘单一植株花量巨大,花朵紧凑密集,花期树叶遮挡覆盖,对花量计算造成很大的阻碍。对此该研究提出基于实例分割的柑橘花朵识别与花量统计方法,以花期的柑橘树冠图像为样本进行花朵实例的识别及分割,通过对Mask R-CNN主体卷积部分和掩膜分支部分的优化,实现对复杂结构图像中密集小尺度柑橘花朵目标的高效检测、获取图像中可见花数量。结果显示,该方法花量识别神经网络的平均精度为36.3,花量计算误差为11.9%,对比未优化Mask R-CNN网络在训练和识别的时间效率上均有显著提升。该研究解决了柑橘花量统计难度高的问题,有助于柑橘早期测产和落花监测,并为花量控制提供决策依据。 展开更多

关键词 图像处理 目标检测 算法 花朵识别 花量计算 实例分割 残差神经网络

在线阅读 下载PDF 职称材料

钢轨表面缺陷检测Mask R-CNN算法研究与优化 被引量：2

8

作者 孟瑞锋 梁桢 +2 位作者 贾超 乔志 赵晨 《都市快轨交通》 北大核心 2024年第5期68-77,共10页

为有效防止城市轨道交通事故发生,更好地保障运行安全,钢轨表面缺陷检测技术在巡检工作中发挥着重要作用。针对现有钢轨缺陷检测技术中检测精度差、小目标敏感度低等问题,在Mask R-CNN(mask region-based convolutional neural network... 为有效防止城市轨道交通事故发生,更好地保障运行安全,钢轨表面缺陷检测技术在巡检工作中发挥着重要作用。针对现有钢轨缺陷检测技术中检测精度差、小目标敏感度低等问题,在Mask R-CNN(mask region-based convolutional neural network)算法模型基础上,提出一种融合注意力机制的模型改进方案。该方案在特征提取网络中引入通道-空间复合注意力机制(channel-wise spatial module,CSM)用于实例分割缺陷检测,有效剔除干扰信息,获得多尺度特征表达,得到更多空间信息以及更优的浅层信息,从而提升对钢轨表面缺陷边缘检测能力。在相同的实验环境下,相对于Mask R-CNN算法,加入CSM后,Mask R-CNN模型的平均精度均值(mean average precision,mAP)提高了6.5%。其中,对钢轨“凹陷”“裂纹”以及“疲劳磨损”缺陷识别的平均精度(average precision,AP)分别提高了6.3%、6.9%和6.1%。横向对比发现,加入CSM后的Mask R-CNN模型,相较于Fast R-CNN模型,三种缺陷的分割效果分别提升了11.6%、12.5%和12.9%。同时,相较于Faster R-CNN模型,三种缺陷的分割效果分别提升了8.8%、10.0%和10.3%。加入CSM后的Mask R-CNN模型可以更好地识别三类缺陷,提升检测精度和小目标敏感度,为轨道智能巡检提供更安全有力的技术支持和保障。 展开更多

关键词 城市轨道交通 通道-空间注意力机制 钢轨缺陷 实例分割 Mask R-CNN算法

在线阅读 下载PDF 职称材料

复杂动态场景下基于光流分割SLAM算法研究

9

作者 叶寒雨 李传昌 +2 位作者 刘淼 汪子潇 张伟伟 《农业装备与车辆工程》 2023年第3期90-94,100,共6页

针对目前主流SLAM(同时定位与建图)算法在动态环境中存在精度大幅下降的问题,提出了一种基于光流分割去除动态物体干扰的DY-SLAM(SLAM In Dynamic Environment)算法。该算法采用实例分割算法结合相邻帧图像之间的稠密光流对动态物体进... 针对目前主流SLAM(同时定位与建图)算法在动态环境中存在精度大幅下降的问题,提出了一种基于光流分割去除动态物体干扰的DY-SLAM(SLAM In Dynamic Environment)算法。该算法采用实例分割算法结合相邻帧图像之间的稠密光流对动态物体进行分割,在SLAM系统图像帧间匹配前剔除动态物体特征点,提高动态环境下的定位精度。使用公开数据集对算法进行评估,算法的RMSE提升最大可达21.59%,能够有效提高系统在复杂动态环境下的定位精度及鲁棒性。 展开更多

关键词 DY-SLAM算法 光流估计 实例分割 动态环境

在线阅读 下载PDF 职称材料

基于无人机全景影像的河道岸线地物变化检测方法

10

作者 黄育华 吴念辉 +3 位作者 陈杰 梁文俊 赵薛强 管继祥 《人民长江》 北大核心 2025年第3期230-236,共7页

为了提升针对违章建筑和河道岸线非法占用目标的检测精度,基于Drone-YOLO目标检测基线模型,融入模拟河道岸线区域特征的数据增强模块,并结合BiFPN特征金字塔网络结构,设计并实现了Drone-YOLO-RCD多尺度无人机图像实例分割算法;并且根据... 为了提升针对违章建筑和河道岸线非法占用目标的检测精度,基于Drone-YOLO目标检测基线模型,融入模拟河道岸线区域特征的数据增强模块,并结合BiFPN特征金字塔网络结构,设计并实现了Drone-YOLO-RCD多尺度无人机图像实例分割算法;并且根据该算法构建了一套地物变化检测系统,形成了一种基于无人机全景影像的河道岸线地物变化检测方法。在自制数据集PGIS_RCD上的实验结果显示:相较于Drone-YOLO基准算法,Drone-YOLO-RCD算法在六大地类的平均精度mAP@0.5上提升了0.044,实现了对违章建筑和非法占用问题的精准识别以及地物变化检测。研究成果推动了河道岸线生态环境的“数字化”管理,可为科学掌握河道岸线建筑活动范围提供有力的技术支持。 展开更多

关键词 地物变化检测 河道岸线巡检 Drone-YOLO 实例分割算法 无人机全景影像

在线阅读 下载PDF 职称材料

一种面向无人机全景影像建筑物的动态变化监测方法

11

作者 黄育华 吴念辉 +3 位作者 陈杰 梁文俊 赵薛强 管继祥 《海洋测绘》 北大核心 2025年第2期57-62,共6页

为应对城市基础地理信息快速更新的挑战,实现城市的科学化和精细化管理,提出了一种面向无人机全景影像建筑物的动态变化监测方法。该研究自制PGIS_Mixed_Buildings数据集,构建Yolov8-ST-Bi-AH算法框架,在骨干网络引入Swin Transformer... 为应对城市基础地理信息快速更新的挑战,实现城市的科学化和精细化管理,提出了一种面向无人机全景影像建筑物的动态变化监测方法。该研究自制PGIS_Mixed_Buildings数据集,构建Yolov8-ST-Bi-AH算法框架,在骨干网络引入Swin Transformer用于提高模型对全局和局部特征的整合能力,同时引入自适应空间融合(adaptively spatial feature fusion,ASFF)检测头用于增强模型处理多尺度信息的能力。进而研发出一套全景动态变化监测系统,为无人机全景影像构建一个全周期的应用体系。各项实验测试表明,Yolov8-ST-Bi-AH算法相较于YOLOv8基准,在两类建筑物的平均精度mAP@0.5上提升了6%,并在召回率上提升了4%,验证了针对全景影像特性所制定的改进策略取得了实质性的成效,提升了建筑物的识别效率,并确保了动态变化区域的精确检测,为城市管理智能化提出了创新的解决方案。 展开更多

关键词 无人机全景影像 建筑物动态变化监测 YOLOv8模型 实例分割算法 智慧城市

在线阅读 下载PDF 职称材料

基于Mask R-CNN的人脸检测与分割方法 被引量：11

12

作者 林凯瀚 赵慧民 +3 位作者 吕巨建 詹瑾 刘晓勇 陈荣军 《计算机工程》 CAS CSCD 北大核心 2020年第6期274-280,共7页

针对现有主流的人脸检测算法不具备像素级分割,从而存在人脸特征具有噪声及检测精度不理想的问题,提出了一种基于Mask R-CNN的人脸检测及分割方法。通过ResNet-101结合RPN网络生成候选区域,再利用RoIAlign算法实现像素级的特征点定位,... 针对现有主流的人脸检测算法不具备像素级分割,从而存在人脸特征具有噪声及检测精度不理想的问题,提出了一种基于Mask R-CNN的人脸检测及分割方法。通过ResNet-101结合RPN网络生成候选区域,再利用RoIAlign算法实现像素级的特征点定位,旨在提高定位精度。根据全卷积网络生成相应的人脸二值掩码,实现图像中人脸信息与背景的分割。此外,构建了一个具有分割标注信息的人脸数据集用于训练相应模型。在通用人脸检测数据集的实验结果表明,该方法具有较好的人脸检测效果,并能在准确检测的同时实现像素级的人脸信息分割。 展开更多

关键词 人脸检测 Mask R-CNN算法 实例分割 RoIAlign算法 全卷积网络

在线阅读 下载PDF 职称材料

注意力机制和特征融合的自动抠图算法 被引量：5

13

作者 王欣 王琦琦 +1 位作者 杨国威 郭肖勇 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2020年第9期1473-1483,共11页

针对目前人工抠图工作量大,而自动抠图无法区分多个实例的问题,提出了一种注意力机制和特征融合的自动抠图算法.该算法由预分割模块和Alpha抠图模块2部分组成,分别采用了不同的网络结构.其中预分割模块是使用迁移学习方法对Mask Scoring... 针对目前人工抠图工作量大,而自动抠图无法区分多个实例的问题,提出了一种注意力机制和特征融合的自动抠图算法.该算法由预分割模块和Alpha抠图模块2部分组成,分别采用了不同的网络结构.其中预分割模块是使用迁移学习方法对Mask Scoring R-CNN进行微调实现了对多实例自然图像的实例分割,从而得到输入图像前景个体的二值化分割图.而Alpha抠图模块在此基础上首先对二值化分割图预处理生成三分图,然后将三分图与原输入图像一起输入Alpha抠图模块网络.通过为Alpha抠图模块设计不同的解码策略和注意力机制,实现了对图像细节信息的精确恢复.在后续对自制车辆数据集的无人工交互前景车辆Alpha估计对比实验中,相比现有DIM算法,该算法的SAD降低19.2%,MSE降低26.3%,达到了更高的抠图精度. 展开更多

关键词 实例分割 注意力机制 特征融合 Alpha抠图算法

在线阅读 下载PDF 职称材料

基于几何⁃语义联合约束的动态环境视觉SLAM算法 被引量：3

14

作者 沈晔湖 陈嘉皓 +4 位作者 李星 蒋全胜 谢鸥 牛雪梅 朱其新 《数据采集与处理》 CSCD 北大核心 2022年第3期597-608,共12页

传统视觉同步定位和地图构建(Simultaneous localization and mapping,SLAM)算法建立在静态环境假设的基础之上,当场景中出现动态物体时,会影响系统稳定性,造成位姿估计精度下降。现有方法大多基于概率统计和几何约束来减轻少量动态物... 传统视觉同步定位和地图构建(Simultaneous localization and mapping,SLAM)算法建立在静态环境假设的基础之上,当场景中出现动态物体时,会影响系统稳定性,造成位姿估计精度下降。现有方法大多基于概率统计和几何约束来减轻少量动态物体对视觉SLAM系统的影响,但是当场景中动态物体较多时,这些方法失效。针对这一问题,本文提出了一种将动态视觉SLAM算法与多目标跟踪算法相结合的方法。首先采用实例语义分割网络,结合几何约束,在有效地分离静态特征点和动态特征点的同时,进一步实现多目标跟踪,改善跟踪结果,并能够获得运动物体的轨迹和速度矢量信息,从而能够更好地为机器人自主导航提供决策信息。在KITTI数据集上的实验表明,该算法在动态场景中相较ORB⁃SLAM2算法精度提高了28%。 展开更多

关键词 几何约束 目标跟踪 机器视觉 视觉SLAM算法 实例语义分割

在线阅读 下载PDF 职称材料