-
题名针对RGBT跟踪的特殊属性的跨模态交互融合网络
- 1
-
-
作者
邵小强
李浩
吕植越
马博
刘明乾
韩泽辉
-
机构
西安科技大学电气与控制工程学院
-
出处
《光学精密工程》
北大核心
2025年第2期324-336,共13页
-
基金
国家自然科学基金(No.52174198)。
-
文摘
因为不易受光照、遮挡影响以及极强的鲁棒性,RGBT目标跟踪在视频监控、自动驾驶等领域得到了广泛的应用。利用在红外图像和可见光图像中常见的挑战属性,将两种模态信息充分交互,构建了一个有效的跟踪网络,能够克服跟踪过程中一些常见的不利场景带来的影响。该网络由特殊属性融合模块、共同属性融合模块和跨模态交互模块三部分组成,特殊属性融合模块让网络能够提取两种模态所特有的挑战属性信息,充分利用不同模态信息的优势;共同属性融合模块对目标跟踪中两种模态都匹配的属性提取特征并自适应聚合信息,给每个共同挑战属性分配对应的权重,增强跟踪器的自适应性;模态交互模块将红外图像和可见光图像进行模态交互,在两个特定模态信息中融合共同模态信息,让网络具有更强的鲁棒性;针对不同模态的信息损失异源问题,优化了损失函数,增强了对每个模态的关注,加快了网络的收敛速度。该网络分别在GTOT,RGBT234,LasHer数据集中进行了测试,在RGBT234数据集上达到了84.1%的精确率和57.3%的成功率,在Lasher数据集上达到了52.3%的精确率和39.1%的成功率。结果表明跟踪器达到了较好的性能,证明了该方法的有效性。
-
关键词
目标跟踪
热红外跟踪
挑战属性
模态交互
-
Keywords
object tracking
thermal infrared tracking
challenge attributes
modal interaction
-
分类号
TP394.1
[自动化与计算机技术—计算机应用技术]
TH691.9
[机械工程—机械制造及自动化]
-
