-
题名基于多模态特征对齐的弱对齐RGBT显著目标检测
- 1
-
-
作者
刘成壮
翟素兰
刘海庆
王鲲鹏
-
机构
安徽大学数学科学学院
中国科学院合肥物质科学研究院
安徽大学计算机科学与技术学院
-
出处
《计算机科学》
北大核心
2025年第7期142-150,共9页
-
基金
国家自然科学基金面上项目(62376005)
安徽省高校协同创新项目(GXXT-2022-014)
安徽大学数学学院开放课题(KF2019A03)。
-
文摘
可见光和热红外(RGBT)显著目标检测(SOD)旨在从可见光和热红外图像中识别共同的显著物体。然而,现有技术大多在完全对齐的图像对上进行训练,忽略了实际成像过程中由传感器差异造成的“弱对齐”问题,即同一物体在不同模态中虽然结构相关,但是它们的位置、尺度存在差异。因此,如果不经对齐处理,直接使用弱对齐RGBT图像训练模型,会导致检测性能严重下降。为应对这一挑战,提出了一个多模态特征对齐融合网络(AFNet),专门针对弱对齐RGBT SOD。该网络由3个主要模块组成:分布对齐模块(DAM)、注意力引导的可变形卷积对齐模块(AGDCM)和交叉融合模块(CAM)。DAM基于最优传输理论,使热红外和RGB特征的分布尽可能接近,实现特征的初步对齐。AGDCM基于可变形卷积,在学习特征偏移量的过程中引入注意力权重,使不同的区域可以学习到适合自身的偏移量,实现多模态特征的精准对齐。CAM通过交叉注意力机制融合对齐后的特征,增强融合特征的判别能力并提高计算效率。通过在对齐和弱对齐数据集上进行大量实验,证明了所提方法的高效性。
-
关键词
弱对齐RGBT图像
显著目标检测
多模态特征对齐
多模态特征融合
注意力机制
-
Keywords
Weakly-aligned RGBT image
Salient object detection
Multi-modal feature alignment
Multi-modal feature fusion
Attention mechanism
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
TP389.1
[自动化与计算机技术—计算机系统结构]
TP391.41
[自动化与计算机技术—计算机应用技术]
-
