-
题名基于通道干预渐进式差异减小网络的跨模态行人重识别
- 1
-
-
作者
刘志刚
常乐乐
赵宜珺
刘苗苗
-
机构
东北石油大学计算机与信息技术学院
黑龙江省石油大数据与智能分析重点实验室
-
出处
《计算机辅助设计与图形学学报》
北大核心
2025年第7期1249-1259,共11页
-
基金
国家自然科学基金(42002138)
黑龙江省自然科学基金(LH2020F003,LH2021F004)
+2 种基金
黑龙江省科技创新基地项目(JD24A009)
黑龙江省博士后科研启动基金(216230006)
黑龙江省高等教育教学改革重点项目(SJGZB2024173).
-
文摘
在跨模态行人重识别研究领域中,可见光与红外图像的模态差异是增大共享特征提取难度的关键问题.为了降低2种模态的差异,提高行人重识别性能,提出一种渐进式差异减小网络.在可见光目标到红外图像集的检索识别阶段,根据因果推理理论设计一个特定事实干预模块,通过通道变换生成的干预图像完成对可见光图像的干预,抑制可见光图像中的颜色信息干扰;其在红外目标到可见光图像集的检索识别阶段,设计一个通道协调模块,将多通道的特征提取转换为单通道方式,使网络专注于学习可见光与红外2种图像的通道相关性;最后,针对可见光和红外2种目标图像的相互检索识别提出模态平衡损失方法,通过干预图像、可见光图像和红外图像完成多个模态的平衡学习,进一步完成颜色特征抑制,补偿可见光图像在特定事实干预过程中的可鉴别丢失特征.仿真实验结果表明,与现有主流的跨模态行人重识别方法相比,所提网络在SYSU-MM01和RegDB这2个标准数据集上均取得了较好的性能表现,rank1和mAP分别提高超过2%.网络源代码:https://cstr.cn/31253.11.sciencedb.27692.
-
关键词
行人重识别
特定事实干预
通道协调
模态平衡
跨模态
-
Keywords
person re-identification
specific factual intervention
channel coordination
modal balance
cross modal
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
