基于互引导条件耦合的小样本语义分割

1

作者 刘胜男 姜璐璐 +2 位作者 郑宛露 王少荣 汪国平 《计算机辅助设计与图形学学报》 北大核心 2025年第6期973-982,共10页

针对现有的小样本语义分割方法普遍采用简单的融合策略来实现跨分支信息传递,难以捕获复杂的特征交互信息的问题,提出一个实现支持-查询分支高效融合的互引导条件耦合网络.所提网络设计了一个耦合信息生成模块,该模块聚焦于支持特征中... 针对现有的小样本语义分割方法普遍采用简单的融合策略来实现跨分支信息传递,难以捕获复杂的特征交互信息的问题,提出一个实现支持-查询分支高效融合的互引导条件耦合网络.所提网络设计了一个耦合信息生成模块,该模块聚焦于支持特征中与查询特征高度相似的区域,以使查询特征中的每个像素能够自适应地融合支持特征的像素级信息.同时,为了减少查询图像背景对融合效果的负面影响,设计了一个条件耦合模块.在该模块中,生成的条件可用于抑制查询图像背景区域的信息吸收,从而有效地避免了背景信息对结果的干扰.在PASCAL-5i以及COCO-20i的实验结果表明,所提网络在多数任务上,其mIoU和FBIoU指标优于或接近相关方法的最佳性能. 展开更多

关键词 语义分割 小样本学习 小样本语义分割 特征融合

在线阅读 下载PDF 职称材料

基于元学习的小样本语义分割算法

2

作者 王兰忠 牟昌善 《江苏大学学报（自然科学版）》 CAS 北大核心 2024年第5期574-580,620,共8页

针对现有的小样本语义分割模型对未知新类分割精度不高的问题,提出一种基于元学习的小样本语义分割算法.首先,利用深度可分离卷积改进传统主干网络,并在ImageNet数据集上进行了编码器的预训练.其次,利用预训练的主干网络将支持图片和查... 针对现有的小样本语义分割模型对未知新类分割精度不高的问题,提出一种基于元学习的小样本语义分割算法.首先,利用深度可分离卷积改进传统主干网络,并在ImageNet数据集上进行了编码器的预训练.其次,利用预训练的主干网络将支持图片和查询图片映射到深度特征空间.最后,利用支持图片的真实掩码将支持特征分离为目标前景和背景,并借助vision transformer构造了一种自适应的元学习分类器.在PASCAL-5^(i)数据集上进行了大量的试验.结果表明:所提出模型在VGG-16、ResNet-50和ResNet-101主干网络上分别实现了47.1%、58.3%和60.4%的mIoU(即平均交并比)(1 shot),同时在5 shot设定下实现了49.6%、60.2%和62.1%的mIoU;在COCO-20^(i)数据集上实现了23.6%、30.3%和30.7%的mIoU(1 shot),同时在5 shot设定下实现了30.1%、34.7%和35.2%的mIoU. 展开更多

关键词 小样本语义分割 特征分离 元学习 深度可分离卷积 vision transformer 目标前景 自适应

在线阅读 下载PDF 职称材料

基于元学习的带钢表面缺陷小样本语义分割 被引量：1

3

作者 冯虎 宋克臣 +1 位作者 崔文琦 颜云辉 《东北大学学报（自然科学版）》 EI CAS CSCD 北大核心 2024年第3期354-360,共7页

由于缺少带钢表面缺陷样本,使得深度神经网络在带钢表面缺陷检测的应用受到了限制,为解决这一实际问题,提出了一种基于元学习思想的小样本语义分割深度学习方法.该方法引入了多尺度解码器和注意力机制.多尺度解码器能够聚合不同尺度的... 由于缺少带钢表面缺陷样本,使得深度神经网络在带钢表面缺陷检测的应用受到了限制,为解决这一实际问题,提出了一种基于元学习思想的小样本语义分割深度学习方法.该方法引入了多尺度解码器和注意力机制.多尺度解码器能够聚合不同尺度的缺陷特征信息,提高网络的分割精度.注意力机制能够有效增强缺陷信息表达,并且抑制背景信息的干扰.此外,构建了一个带钢表面缺陷语义分割数据集,该数据集包含9类带钢表面缺陷.在该数据集上进行了相关实验,结果表明本文方法在平均交并比和前景-背景交并比指标上优于PFENet,SCLNet和HSNet等方法. 展开更多

关键词 带钢表面缺陷检测 元学习 小样本语义分割 注意力机制 多尺度解码器

在线阅读 下载PDF 职称材料

高效跨域的Transformer小样本语义分割网络 被引量：3

4

作者 方红 李德生 蒋广杰 《计算机工程与应用》 CSCD 北大核心 2024年第4期142-152,共11页

小样本语义分割旨在仅使用数个标注样本学习目标类别特征并完成分割任务。主流研究存在的主要问题是:训练效率低下,训练和测试在同一数据域。为此构建了一种基于Transformer的高效、跨域的小样本语义分割网络SGFNet。在编码层,使用共享... 小样本语义分割旨在仅使用数个标注样本学习目标类别特征并完成分割任务。主流研究存在的主要问题是:训练效率低下,训练和测试在同一数据域。为此构建了一种基于Transformer的高效、跨域的小样本语义分割网络SGFNet。在编码层,使用共享权重的MixVisionTransformer构建孪生网络,用于提取支持集和查询集的图像特征;在关系计算层,通过计算支持集图像特征向量与其对应mask的哈达玛积,提取目标类别的高维特征,并与查询集图像特征进行关系计算;在解码层,改进基于MLP的解码器,提出了残差解码器,将不同层级的特征解码得到最终分割结果。实验表明,该模型只需要在FSS-1000数据集上使用单张3090 GPU训练1.5~4.0 h,即可在FSS-1000数据集上获得最优结果1-shot mIoU 87.0%,在PASCAL-5i和COCO-20i数据集进行跨域测试达到非跨域的效果,1-shot mIoU分别为60.4%和33.0%,证明了该模型高效且跨域。 展开更多

关键词 小样本语义分割(FSS) 跨域 TRANSFORMER 小样本学习(FSL) 语义分割

在线阅读 下载PDF 职称材料

金字塔原型对齐的轻量级小样本语义分割网络 被引量：3

5

作者 贾熹滨 李佳 《北京工业大学学报》 CAS CSCD 北大核心 2021年第5期455-462,519,共9页

小样本图像语义分割任务是计算机视觉领域一个有挑战性的问题,其目标是利用现有一张或几张带有密集分割注释的图片来预测未见类图像的分割掩码.针对该任务,提出了一个基于金字塔原型对齐的轻量级小样本图像语义分割网络.首先,该网络在Mo... 小样本图像语义分割任务是计算机视觉领域一个有挑战性的问题,其目标是利用现有一张或几张带有密集分割注释的图片来预测未见类图像的分割掩码.针对该任务,提出了一个基于金字塔原型对齐的轻量级小样本图像语义分割网络.首先,该网络在MobileNetV2网络的深度可分离卷积和逆残差结构基础上,通过金字塔池化模块进行提取特征,保持高维度和低维度的信息,获得不同尺度的特征.同时通过在支持集原型和查询集之间进行相互对齐,使得网络能够从支持集中学到更多的信息,充分利用支持集的信息进行反馈.基于PASCAL-5^(i)数据集的大量实验结果表明,提出的网络结构的均值在1-way 1-shot和1-way 5-shot上分别为49.5%和56.6%,与先进的主流小样本语义分割网络PANet相比分别对应提高了1.4%和0.9%,网络参数量为3.0 MB,相比PANet减小了11.7 MB,同时浮点计算量显著减少,证明了该网络在小样本图像语义分割中的有效性和高效性. 展开更多

关键词 小样本语义分割 卷积神经网络 多尺度 金字塔池化 原型对齐正则化 轻量级网络

在线阅读 下载PDF 职称材料

基于特征融合注意力的小样本语义分割算法

6

作者 李呓瑾 李少龙 +1 位作者 贺彦 刘炜 《广西科学》 CAS 北大核心 2023年第5期951-960,共10页

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的... 针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5 i和COCO-20 i公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20 i数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。 展开更多

关键词 小样本语义分割 多特征融合 注意力机制 深层语义信息 分割掩码

在线阅读 下载PDF 职称材料

MLDAC:多任务密集注意计算自监督小样本分割方法

7

作者 王炜航 张轶 《计算机工程与应用》 北大核心 2025年第4期211-221,共11页

针对现有小样本语义分割方法仍然需要大量的像素级注释来完成模型训练的问题,提出了一种多任务密集注意计算自监督小样本分割方法(multi-task dense attention computation self-supervised few-shot semantic seg-mentation method,MLD... 针对现有小样本语义分割方法仍然需要大量的像素级注释来完成模型训练的问题,提出了一种多任务密集注意计算自监督小样本分割方法(multi-task dense attention computation self-supervised few-shot semantic seg-mentation method,MLDAC)。该方法将数据集中单张图像的无监督显著性区域分割为两部分,一部分作为小样本分割的支持掩码,另一部分与整体区域分别和预测结果计算交叉熵损失作为多个任务完成多任务学习,提升了模型泛化能力;主干网络基于Swin Transformer来提取多尺度特征,并将其输入到多尺度密集注意力块,充分利用了多尺度的像素级相关性;经尺度间混合和跳过连接操作得到最终的预测结果。实验结果表明,基于自监督的MLDAC方法在PASCAL-5^(i)和COCO-20^(i)数据集上1-shot mIoU分别达到了55.1%和26.8%,相较于当前最优的自监督小样本语义分割方法分别提升了1.3和2.2个百分点;在FSS-1000数据集上1-shot mIoU达到了78.1%,证实了MLDAC方法的有效性。 展开更多

关键词 多任务学习 小样本语义分割 Swin Transformer 自监督学习

在线阅读 下载PDF 职称材料

自我引导和特征引导增强的小样本分割网络

8

作者 吴杰 瞿绍军 《小型微型计算机系统》 北大核心 2025年第9期2183-2192,共10页

小样本分割的一个关键要素是有效利用支持集中的信息.以往的方法大都通过掩码平均池化获取全局特征向量,这种方式获取的特征向量比较粗糙.设计了一种基于高层特征的自我引导模块(HSGM)来增强特征向量的质量;为了充分利用支持图像中的信... 小样本分割的一个关键要素是有效利用支持集中的信息.以往的方法大都通过掩码平均池化获取全局特征向量,这种方式获取的特征向量比较粗糙.设计了一种基于高层特征的自我引导模块(HSGM)来增强特征向量的质量;为了充分利用支持图像中的信息以及查询特征和支持特征间的相关性,设计了一种特征引导增强模块(FGEM),利用高层特征来引导低层特征得到强化的查询特征.这两个模块能够有效地挖掘支持图像中的上下文信息以及支持特征与查询特征之间的潜在相关性.针对以往k-shot分割大都是对特征向量进行平均融合,设计一种类注意力机制的分割策略来融合不同样本的信息.提出的自我引导和特征引导增强的小样本分割网络在PASCAL-5 i和COCO-20 i两个公共数据集上与近年来部分优秀方法进行实验对比,均取得较为先进的效果.实验结果表明所提出方法对挖掘支持样本中的信息以及提高小样本分割性能有较大帮助. 展开更多

关键词 小样本学习 小样本语义分割 注意力机制 特征引导

在线阅读 下载PDF 职称材料

基于双交叉注意力Transformer网络的小样本图像语义分割 被引量：1

9

作者 刘玉 郭迎春 +1 位作者 朱叶 于明 《液晶与显示》 CAS CSCD 北大核心 2024年第11期1494-1505,共12页

小样本图像语义分割只用少量样本就能分割出新类别。针对现有方法中语义信息挖掘不充分的问题,本文提出一种基于双交叉注意力网络的小样本图像语义分割方法。该方法采用Transformer结构,利用双交叉注意力模块同时从通道和空间维度上学... 小样本图像语义分割只用少量样本就能分割出新类别。针对现有方法中语义信息挖掘不充分的问题,本文提出一种基于双交叉注意力网络的小样本图像语义分割方法。该方法采用Transformer结构,利用双交叉注意力模块同时从通道和空间维度上学习多尺度查询特征和支持特征的远程依赖性。首先,本文提出通道交叉注意力模块,并结合位置交叉注意力模块构成双交叉注意力模块。其中,通道交叉注意力模块用于学习查询和支持特征之间的通道语义相互关系,位置交叉注意力模块用来捕获查询和支持特征之间的远程上下文相关性。然后,通过多个双交叉注意力模块能够为查询图像提供包含丰富语义信息的多尺度交互特征。最后,本文引入辅助监督损失,并通过上采样和残差连接将多尺度交互特征连接至解码器以得到准确的新类分割结果。本文方法在数据集PASCAL-5i上的mIoU达到了69.9%(1-shot)和72.4%(5-shot),在数据集COCO-20i上的mIoU达到了48.9%(1-shot)和54.6%(5-shot)。与主流方法相比,本文方法的分割性能达到了最先进的水平。 展开更多

关键词 小样本图像语义分割 Transformer结构 通道交叉注意力 双交叉注意力 辅助损失

在线阅读 下载PDF 职称材料

基于双重聚合和自合并网络的小样本图像语义分割

10

作者 刘玉 于明 朱叶 《液晶与显示》 CAS CSCD 北大核心 2024年第10期1421-1430,共10页

小样本图像语义分割是一种非常具有挑战性的任务,它试图使用几个带标签的样本来分割新类对象。主流方法常会存在特征鉴别性不高和原型偏差等问题。为缓解这些问题,本文提出一种基于双重聚合和自合并网络的小样本图像语义分割方法,能够... 小样本图像语义分割是一种非常具有挑战性的任务,它试图使用几个带标签的样本来分割新类对象。主流方法常会存在特征鉴别性不高和原型偏差等问题。为缓解这些问题,本文提出一种基于双重聚合和自合并网络的小样本图像语义分割方法,能够充分挖掘特征相似性并减小原型偏差。首先,提出一个特征-掩码双重聚合模块,在支持特征和查询特征之间构建覆盖所有空间位置的密集相似关系,为特征聚合和掩码聚合提供全局语义信息。具体来说,通过对特征相似矩阵进行特征和掩码双重聚合,可以为查询图像获取具有引导信息的增强特征和初始掩码。然后,提出自合并解码器,通过合并基于初始掩码的自原型和已知的支持原型来减小原型偏差,并通过融合增强特征与合并原型向解码器传递丰富的类别语义信息。最后,利用基类预测信息进一步优化来自解码器的预测结果。本文方法在数据集PASCAL-5i上的mIoU在1-shot和5-shot情况下分别取得了68.3%和71.5%,在数据集COCO-20i上的mIoU在1-shot和5-shot情况下分别取得了46.5%和51.4%,优于主流方法的分割性能,能够更准确地分割出新类的目标区域。 展开更多

关键词 小样本图像语义分割 特征相似性 双重聚合 类内差异性 自合并

在线阅读 下载PDF 职称材料

一种结合全局和局部相似性的小样本分割方法 被引量：8

11

作者 刘宇轩 孟凡满 +3 位作者 李宏亮 杨嘉莹 吴庆波 许林峰 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2021年第3期665-674,共10页

针对小样本分割中如何提取支持图像和查询图像共性信息的问题,提出一种新的小样本分割模型,同时结合了全局相似性和局部相似性,实现了更具泛化能力的小样本分割。具体地,根据支持图像和查询图像全局特征和局部特征之间的相似性,提出了... 针对小样本分割中如何提取支持图像和查询图像共性信息的问题,提出一种新的小样本分割模型,同时结合了全局相似性和局部相似性,实现了更具泛化能力的小样本分割。具体地,根据支持图像和查询图像全局特征和局部特征之间的相似性,提出了一种新型注意力谱生成器,进而实现查询图像的注意力谱生成和区域分割。所提注意力谱生成器包含2个级联模块:全局引导器和局部引导器。在全局引导器中,提出了一种新的基于指数函数的全局相似性度量,对查询图像特征和支持图像的全局特征进行关系建模,输出前景增强的查询图像特征。在局部引导器中,通过引入局部关系矩阵对支持图像特征和查询图像特征之间的局部相似性进行建模,得到与类别无关的注意力谱。在Pascal-5i数据集上做了大量的实验,在1-shot设定下mIoU达到了59.9%,5-shot设定下mIoU达到了61.9%,均优于现有方法。 展开更多

关键词 小样本语义分割 全局相似性测度 局部相似性测度 知识迁移 度量学习

在线阅读 下载PDF 职称材料

基于多原型交叉感知网络的小样本图像语义分割

12

作者 巴钧才 王昌龙 《燕山大学学报》 2025年第4期300-308,共9页

仅利用支持图片的信息不足以为查询图片中未知目标的分割提供充分的指导,为此提出一种基于多原型交叉感知网络的小样本语义分割新方法。首先,利用一组共享权重的主干网络将支持图片和查询图片映射到深度特征空间,并在支持分支借助支持... 仅利用支持图片的信息不足以为查询图片中未知目标的分割提供充分的指导,为此提出一种基于多原型交叉感知网络的小样本语义分割新方法。首先,利用一组共享权重的主干网络将支持图片和查询图片映射到深度特征空间,并在支持分支借助支持图片的真实掩码将支持特征图分解为前景特征图和背景特征图;然后,在支持前景特征图上利用掩码平均池化生成支持前景原型集,在支持背景和查询特征图上利用K近邻聚类算法生成特定区域的多个原型表达;最后,利用交叉注意力机制实现双分支原型集的对齐,强化原型集对目标任务的感知能力。通过在PASCAL-5和COCO-20数据集上测试,实验结果表明所提出方法在1-shot和5-shot任务上实现了可竞争的分割性能。 展开更多

关键词 小样本语义分割 交叉注意力机制 多原型 掩码平均池化 K近邻聚类算法

在线阅读 下载PDF 职称材料