-
题名基于图像块间相似度融合类注意力图的弱监督目标定位
- 1
-
-
作者
陈俊芬
张杰
李娜娜
郭少聪
谢博鋆
-
机构
河北大学数学与信息科学学院
-
出处
《南京理工大学学报》
北大核心
2025年第3期381-388,共8页
-
文摘
弱监督目标定位在训练期间仅使用图像类别信息,由于缺乏边界信息的约束,会出现定位局部的问题,这是弱监督目标定位目前面临的挑战之一。基于注意力的令牌语义耦合注意力图(TS-CAM)模型将图像块的标记与语义无关的注意力图进行耦合,实现语义感知定位,缓解了上述问题。该文在TS-CAM模型基础上提出了图像块间相似度融合类注意力图(PPA-CAM)模型用于目标定位。首先,PPA-CAM融合多层注意力信息,从中提取图像块间(块-块)相似度信息和类块(类别-块)信息;然后,利用类块信息生成初始注意力图,掩码较小的块间相似度进一步改善初始注意力图;最后,与特定类别的特征图相结合生成对象定位图。在CUB和ILSVRC数据集上与TS-CAM的GT定位精度相比,PPA-CAM模型分别提升了7%和1%。实验结果证明了充分利用低层的位置信息时,该文所提模型在目标定位上的有效性。
-
关键词
弱监督目标定位
TRANSFORMER
类注意力图
块间相似度
-
Keywords
weakly supervised object localization
Transformer
class attention map
patch-patch affinity
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名特征软融合与正负样本对比的弱监督目标定位
- 2
-
-
作者
阮皓皓
李冰锋
李新伟
冀得魁
-
机构
河南理工大学电气工程与自动化学院
河南省煤矿装备智能检测与控制重点实验室
-
出处
《电子测量技术》
北大核心
2025年第11期59-66,共8页
-
基金
河南理工大学博士基金(B2018-33)项目资助。
-
文摘
针对弱监督目标定位任务中,使用硬融合方式来融合深浅层特征导致网络过度关注区分性强区域或误将背景识别为目标的问题,本文提出了一种基于深浅层特征软融合和正负样本对比的弱监督目标定位方法。首先,提出的深浅层特征软融合策略通过设计前景生成器,分别从浅层特征和深层特征中生成前景预测图,然后采取反向监督操作,引导网络逐步学习多层细粒度特征,实现深浅层特征之间的相互优化。其次,本文基于对比学习思想提出了正负样本对比损失函数,通过构造正负样本,以引导网络在训练过程中更专注于前景区域,抑制背景噪声的干扰。本文在CUB-200-2011和ILSVRC-2012数据集上以验证本文方法的有效性,在两个数据集上的定位准确率分别达到了95.77%和72.90%。实验结果表明,本文方法在弱监督目标定位任务场景下的有效性和适用性。
-
关键词
弱监督目标定位
深浅层特征软融合
正负样本对比
前景生成器
-
Keywords
weakly supervised object localization
soft fusion of deep and shallow features
positive-negative sample contrast
foreground generator
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
TN791
[电子电信—电路与系统]
-
-
题名基于注意力机制及类别层次结构的弱监督目标定位
被引量：4
- 3
-
-
作者
冯迅
杨健
周涛
宫辰
-
机构
南京理工大学计算机科学与工程学院模式计算与应用实验室
高维信息智能感知与系统教育部重点实验室(南京理工大学)
江苏省社会安全图像与视频理解重点实验室(南京理工大学)
-
出处
《软件学报》
EI
CSCD
北大核心
2023年第10期4916-4929,共14页
-
基金
国家自然科学基金(61973162,62172228)
江苏省自然科学基金(BZ2021013)
中央高校基本科研业务费专项资金(30920032202,30921013114)。
-
文摘
弱监督目标定位是指仅利用图像级的类别标注信息来训练目标定位器,而不需要使用精确的目标位置标注信息来进行算法训练.当前的一些方法往往只能定位出目标对象中最具鉴别性的部分而无法准确地标识出完整的目标对象,或者易受背景无关信息干扰从而导致定位结果不精确.为了解决上述问题,提出一种基于注意力机制和类别层次结构的弱监督目标定位方法.该方法通过对卷积神经网络的注意力图进行均值分割提取更完整的目标区域.进一步,通过类别层次结构网络实现对背景区域注意力的削弱,从而提高对感兴趣目标的定位精度.基于多个网络结构和公共数据集上的大量实验结果表明,相比目前已有的弱监督定位方法,所提方法在多个评价指标下均能够获得更好的定位效果.
-
关键词
弱监督目标定位
网络注意力
背景干扰
层次结构网络
卷积神经网络(CNN)
-
Keywords
weakly supervised object localization
network attention
background interference
hierarchical network
convolutional neural network(CNN)
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名融合目标定位与异构局部交互学习的细粒度图像分类
- 4
-
-
作者
陈权
陈飞
王衍根
程航
王美清
-
机构
福州大学计算机与大数据学院
福州大学数学与统计学院
-
出处
《自动化学报》
EI
CAS
CSCD
北大核心
2024年第11期2219-2230,共12页
-
基金
国家自然科学基金(61771141,62172098)
福建省自然科学基金(2021J01620)资助。
-
文摘
由于细粒度图像之间存在小的类间方差和大的类内差异,现有分类算法仅仅聚焦于单张图像的显著局部特征的提取与表示学习,忽视了多张图像之间局部的异构语义判别信息,较难关注到区分不同类别的微小细节,导致学习到的特征缺乏足够区分度.本文提出了一种渐进式网络以弱监督的方式学习图像不同粒度层级的信息.首先,构建一个注意力累计目标定位模块(Attention accumulation object localization module,AAOLM),在单张图像上从不同的训练轮次和特征提取阶段对注意力信息进行语义目标集成定位.其次,设计一个多张图像异构局部交互图模块(Heterogeneous local interactive graph module,HLIGM),提取每张图像的显著性局部区域特征,在类别标签引导下构建多张图像的局部区域特征之间的图网络,聚合局部特征增强表示的判别力.最后,利用知识蒸馏将异构局部交互图模块产生的优化信息反馈给主干网络,从而能够直接提取具有较强区分度的特征,避免了在测试阶段建图的计算开销.通过在多个数据集上进行的实验,证明了提出方法的有效性,能够提高细粒度分类的精度.
-
关键词
深度学习
细粒度图像分类
弱监督目标定位
图神经网络
知识蒸馏
-
Keywords
Deep learning
fine-grained image classification
weakly supervised object localization
graph neural network
knowledge distillation
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
TP18
[自动化与计算机技术—控制理论与控制工程]
-
