-
题名基于深度学习的图像全景分割综述
被引量：6
- 1
-
-
作者
毕阳阳
郑远帆
史彩娟
张昆
刘健
-
机构
华北理工大学人工智能学院
河北省工业智能感知重点实验室
-
出处
《计算机科学与探索》
CSCD
北大核心
2023年第11期2605-2619,共15页
-
基金
华北理工大学杰出青年基金(JQ201715)
唐山市人才项目(A202110011)。
-
文摘
随着深度学习与图像分割的不断发展,图像全景分割已经成为计算机视觉领域的一个研究热点,许多图像全景分割方法被提出。综述了基于深度学习的图像全景分割研究方法,首先介绍了图像全景分割国内外的研究现状,对已有图像全景分割的方法,根据网络架构优化任务的不同进行分类阐述,主要包括特征提取优化的图像全景分割、子任务分割优化的图像全景分割、子任务融合优化的图像全景分割、其他图像全景分割;其次简单介绍图像全景分割中常用的MS COCO、PASCAL VOC、Cityscapes、ADE20K和Mapillary Vistas五个数据集以及全景质量(PQ)和解析覆盖(PC)两种评价准则;然后对典型图像全景分割方法在不同数据集上进行了性能比较;接着列举了图像全景分割在医学、自动驾驶、无人机、农业、畜牧业、军事等领域的应用;最后指出了现有方法在复杂场景应用、实时性、冲突等方面存在的不足与挑战,并探讨了基于简单统一框架的图像全景分割、实时的高质量图像全景分割、复杂应用场景下图像全景分割等未来研究方向。
-
关键词
图像全景分割
深度学习
特征提取
子任务分割
子任务融合
-
Keywords
image panoptic segmentation
deep learning
feature extraction
sub-task segmentation
sub-task fusion
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于分组卷积进行特征融合的全景分割算法
被引量：9
- 2
-
-
作者
冯兴杰
张天泽
-
机构
中国民航大学计算机科学与技术学院
中国民航大学信息网络中心
-
出处
《计算机应用》
CSCD
北大核心
2021年第7期2054-2061,共8页
-
基金
中国民用航空局安全能力建设项目(AADSA201909)
天津市教委科研计划项目(2019SK110)
中央高校基本科研业务费专项资金资助项目(3122019009)。
-
文摘
针对图像全景分割任务对于实践应用中现有网络结构运算不够快速的问题,提出一种基于分组卷积进行特征融合的全景分割算法。首先,通过自底向上的方式选择经典残差网络结构(ResNet)进行特征提取,并采用不同扩张率的空洞卷积空间金字塔池化操作(ASPP)对提取到的特征进行语义分割与实例分割的多尺度特征融合;然后,通过提出一种单路分组卷积上采样方法,整合语义与实例特征进行上采样特征融合至指定大小;最后,通过对语义分支、实例分支以及实例中心点这三个分支进行损失函数运算以得到更加精细的全景分割输出结果。该模型在CityScapes数据集上与注意力引导的联合全景分割网络(AUNet)、全景特征金字塔网络(Panoptic FPN)、亲和金字塔单阶段实例分割算法(SSAP)、联合全景分割网络(UPSNet)、Panoptic-DeepLab等方法进行了实验对比。实验结果表明,与对比方法中表现最好的Panoptic-DeepLab模型相比,所提模型在极大减少了解码网络参数量的情况下,全景分割质量(PQ)值为0.565,仅下降了0.003,在建筑物、火车、自行车等物体的分割质量上有0.3~5.5的提升,平均精确率(AP)、目标IoU阈值超过50%的平均精确率(AP50)分别提升了0.002与0.014,平均交并比(mIoU)值提升了0.06。可见该方法能提升图像全景分割速度,在PG、AP、mIoU三个指标上均有较好的精度,可以有效地完成全景分割任务。
-
关键词
图像全景分割
语义分割
实例分割
分组卷积
空洞卷积
空间金字塔池化
-
Keywords
image panoptic segmentation
semantic segmentation
instance segmentation
grouped convolution
atrous convolution
spatial pyramid pooling
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
