采用注意力与模板在线更新的可见光-红外目标跟踪网络

1

作者 韩向东 钟傲 +3 位作者 刘冲澳 孙延鑫 张向永 徐淋智 《西安交通大学学报》 北大核心 2025年第8期187-198,共12页

针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题,结合卷积掩码自编码器模型,提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络,通过采... 针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题,结合卷积掩码自编码器模型,提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络,通过采用双嵌入层配合共享权重的骨干网络结构提取可见光与红外特征,深入挖掘可见光与红外数据间的内在联系。通过强化模板与搜索图像的关联性,引入通道空间自注意力机制以增强模板和搜索图像间的交互,来提取模态间可区分的异质互补特征。提出模板在线更新模块,通过在线更新模板与设计模板分数头,利用置信度评分机制融合初始模板的稳定性与在线模板的适应性,解决目标随时间变化导致的模型漂移问题。实验结果表明,所提算法在GTOT和RGBT234公开数据集上的精确率和成功率分别达到93.3%/75.6%和87.2%/63.8%,可在目标不断变化情况下实现精确跟踪。可视化分析表明,所提算法在双模态热力图上可自适应互补,单一模态失效时仍能精准定位目标。 展开更多

关键词 目标跟踪 可见光-红外 注意力机制 模板在线更新 卷积掩码自编码器

在线阅读 下载PDF 职称材料

可见光和红外热像仪融合下运动目标跟踪方法

2

作者 任津锋 《现代电子技术》 北大核心 2025年第12期111-114,共4页

在复杂的图像场景(如噪声干扰、目标部分遮挡或者背景纹理干扰)下,通过计算得到的矩可能会受到影响,从而导致确定的特征点中心不准确,影响运动目标跟踪效果,故提出一种可见光和红外热像仪融合下的运动目标跟踪方法。通过红外热像仪获取... 在复杂的图像场景(如噪声干扰、目标部分遮挡或者背景纹理干扰)下,通过计算得到的矩可能会受到影响,从而导致确定的特征点中心不准确,影响运动目标跟踪效果,故提出一种可见光和红外热像仪融合下的运动目标跟踪方法。通过红外热像仪获取初始运动目标,并考虑到红外热像仪运动过程中,由于相机的移动、旋转或目标物体的运动,所捕获的图像可能会产生畸变,所以引入光学运动模型。针对校正后的图像,通过计算图像块的矩来确定特征点中心;采用最近邻比率匹配策略,通过比较特征点与其最近邻和次近邻的距离比来确定匹配对的有效性。通过改进SURF和HOG结合的方法配准检测出目标的红外图像与可见光图像,完成红外与可见光图像对的配准融合。在红外图像与可见光图像配准融合后,通过多特征融合相关滤波方法实现运动目标跟踪。实验结果表明,所提方法的运动目标跟踪准确度更高、实际应用效果更好。 展开更多

关键词 运动目标跟踪 可见光 红外热像仪 SURF HOG 图像配准

在线阅读 下载PDF 职称材料

可见光-红外目标与背景温差特性研究 被引量：1

3

作者 王磊 徐超 吴辉 《红外与激光工程》 EI CSCD 北大核心 2024年第9期275-283,共9页

由于陆地背景环境复杂,单一非制冷红外稳瞄跟踪装置在应用中存在目标识别、跟踪可靠度不高的不足。为解决该问题,首先对典型地面目标与背景的温差特性以及背景环境对红外成像的影响规律进行研究,在此基础上设计具有红外通道和电视通道... 由于陆地背景环境复杂,单一非制冷红外稳瞄跟踪装置在应用中存在目标识别、跟踪可靠度不高的不足。为解决该问题,首先对典型地面目标与背景的温差特性以及背景环境对红外成像的影响规律进行研究,在此基础上设计具有红外通道和电视通道的复合稳瞄跟踪装置方案,通过对比复合稳瞄跟踪装置与单一红外稳瞄跟踪装置的成像性能,分析复合稳瞄跟踪装置的可行性。背景环境对红外成像的影响规律为:在清晨/傍晚时段,目标与地面温差不足(小于5 K),红外图像存在目标对比度低、信噪比不足的缺陷;正午时段,红外图像存在目标完全淹没在背景中的缺陷。设计的具有红外通道和电视通道的复合稳瞄跟踪装置,电视通道对红外通道的成像质量影响较小(红外通道实际通光量相对减少不到5%),在地面背景红外辐射噪声干扰大的情况下电视通道成像清晰,在目标温差足够的情况下,红外通道成像清晰,验证了红外-电视稳瞄跟踪装置总体方案的可行性;红外-电视复合稳瞄跟踪装置的两个通道形成了良好的互补关系,能够显著拓展稳瞄跟踪装置的适用范围。 展开更多

关键词 目标与背景温差 红外-电视稳瞄跟踪装置 红外通道 电视通道

在线阅读 下载PDF 职称材料

基于加权mean-shift可见光/红外双通道目标跟踪 被引量：10

4

作者 程咏梅 王进行 +2 位作者 魏坤 潘泉 程承 《光子学报》 EI CAS CSCD 北大核心 2010年第2期357-363,共7页

为提高目标亮度突变时的跟踪性能,在每一帧进行目标跟踪时,首先提取可见光图像的颜色特征,红外图像的垂直投影图像和水平投影图像特征,然后利用可见光/红外各自通道的Bhattacharyya系数计算该通道的权值,并对加权mean-shift双通道跟踪... 为提高目标亮度突变时的跟踪性能,在每一帧进行目标跟踪时,首先提取可见光图像的颜色特征,红外图像的垂直投影图像和水平投影图像特征,然后利用可见光/红外各自通道的Bhattacharyya系数计算该通道的权值,并对加权mean-shift双通道跟踪方法进行了推导,提出了基于加权mean-shift可见光/红外双通道目标跟踪算法.该方法使前后两帧目标相似度大的通道取大的权值,从而达到有效利用各通道有利信息、提高跟踪性能的目的.实验表明,用本文提出的算法进行可见光/红外双通道目标跟踪时,与基于mean-shift单通道(可见光或红外)目标跟踪算法相比,可提高目标跟踪的准确度,特别是当目标进入树荫区域,引起目标亮度发生显著变化时,跟踪性能基本不受影响. 展开更多

关键词 可见光/红外双通道 加权mean—shift 目标跟踪

在线阅读 下载PDF 职称材料

基于L1-APG的红外与可见光目标实时融合跟踪 被引量：2

5

作者 马海菲 张灿龙 李志欣 《计算机工程》 CAS CSCD 北大核心 2017年第7期274-280,287,共8页

针对复杂背景下采用单个传感器跟踪性能差的问题,提出一种基于稀疏表示和L1-APG的红外可见目标融合跟踪算法。对红外与可见光目标分别进行稀疏表示,并以它们的联合重构误差最小为目标构建最优化问题,采用L1-APG算法求解该优化问题,运用... 针对复杂背景下采用单个传感器跟踪性能差的问题,提出一种基于稀疏表示和L1-APG的红外可见目标融合跟踪算法。对红外与可见光目标分别进行稀疏表示,并以它们的联合重构误差最小为目标构建最优化问题,采用L1-APG算法求解该优化问题,运用最小误差边界约束条件降低算法的计算复杂度,并实现红外与可见光目标模板的动态更新。测试结果表明,该融合跟踪算法在处理目标遮挡、目标旋转移动、目标交叉和夜间光照不均等方面要优于传统的单源跟踪方法。 展开更多

关键词 融合跟踪 红外-可见光目标 稀疏表示 1范数加速近邻梯度 粒子滤波

在线阅读 下载PDF 职称材料

显著内容感知的深度特征融合RGB-T目标跟踪算法

6

作者 冯子航 闫莉萍 +2 位作者 白景岚 夏元清 肖波 《计算机辅助设计与图形学学报》 CSCD 北大核心 2024年第12期1999-2009,共11页

为解决当前可见光和红外(RGB-thermal-infrared,RGB-T)视频的目标跟踪方法中目标矩形框不能很好地指明目标形状,使得跟踪器参数训练未能充分关注目标部分,以及单层深度特征难以兼顾类别语义信息和空间结构信息的问题,提出一种显著内容... 为解决当前可见光和红外(RGB-thermal-infrared,RGB-T)视频的目标跟踪方法中目标矩形框不能很好地指明目标形状,使得跟踪器参数训练未能充分关注目标部分,以及单层深度特征难以兼顾类别语义信息和空间结构信息的问题,提出一种显著内容感知的深度特征融合RGB-T目标跟踪算法.首先针对可见光和红外2种模态,提取并融合目标的显著图;然后根据融合显著图优化空间正则项权重系数图,加强显著区域中训练样本对滤波器训练的影响;最后采用预训练的卷积神经网络分别提取2种模态的多层深度特征,这些特征包含了丰富的类别语义信息和空间结构信息并在响应图阶段融合.在RGB-T跟踪数据集GTOT和RGBT210上的实验结果表明,该算法在跟踪精度上达到88.4%和72.7%,在跟踪成功率上达到71.9%和51.0%,与现有算法结果对比,验证了该算法的有效性. 展开更多

关键词 可见光-红外目标跟踪 显著内容感知 相关滤波 深度特征 特征融合

在线阅读 下载PDF 职称材料

目标运动轨迹匹配式的红外-可见光视频自动配准 被引量：20

7

作者 王洪庆 许廷发 +2 位作者 孙兴龙 李相民 刘太辉 《光学精密工程》 EI CAS CSCD 北大核心 2018年第6期1533-1541,共9页

为实现精确的红外-可见光视频序列的自动配准,提出了一种新的基于目标轨迹线匹配的配准方法。首先,利用运动目标检测技术提取目标前景,并由基于相关滤波器(KCF)的多目标跟踪算法对每个前景顶点进行跟踪,进而获取每个目标的运动轨迹。此... 为实现精确的红外-可见光视频序列的自动配准,提出了一种新的基于目标轨迹线匹配的配准方法。首先,利用运动目标检测技术提取目标前景,并由基于相关滤波器(KCF)的多目标跟踪算法对每个前景顶点进行跟踪,进而获取每个目标的运动轨迹。此后,为每条轨迹线建立归一化运动方向描述子与归一化运动幅度描述子,通过时序分析、方向描述子匹配及幅值描述子匹配建立分步约束的匹配机制,完成轨迹线匹配工作。最后,采用迭代更新的方式获取最佳全局配准矩阵,实现对异源视频的配准。在LITIV数据库上的9组视频上进行测试验证,实验的结果表明:本文配准算法的重叠率误差一般小于0.2,接近或已超过手动的Ground-Truth矩阵。通过充分利用目标的运动信息,该算法实现了精确的红外-可见光图像序列配准。 展开更多

关键词 红外图像 可见光图像 图像配准 多目标跟踪 特征匹配

在线阅读 下载PDF 职称材料

基于可见光与红外图像特征融合的目标跟踪 被引量：7

8

作者 闫钧华 陈少华 +1 位作者 许俊峰 储林臻 《中国惯性技术学报》 EI CSCD 北大核心 2013年第4期517-523,共7页

针对单一图像源下目标跟踪精度不高的问题，利用跟踪状态下的目标存在于可见光与红外图像中的特征对连续自适应均值移动跟踪算法做出改进。首先选取可见光图像的“颜色梯度背投影”作为改进的目标模型，选取红外图像的“灰度梯度背投影... 针对单一图像源下目标跟踪精度不高的问题，利用跟踪状态下的目标存在于可见光与红外图像中的特征对连续自适应均值移动跟踪算法做出改进。首先选取可见光图像的“颜色梯度背投影”作为改进的目标模型，选取红外图像的“灰度梯度背投影”作为改进的目标模型；然后根据可见光序列图像和红外序列图像各自进行连续自适应均值移动跟踪算法得到的对应的口‘系数判定两种图像跟踪的效果，对两种图像的权重进行自适应调整，得到这两种图像的特征级融合图像和跟踪结果。实验结果表明，对于320像素×240像素的可见光和红外图像，基于可见光与红外图像特征融合的目标跟踪算法在复杂背景下能够较准确的跟踪目标，目标跟踪精度为0．5像素，跟踪速度为30～32ms／帧。 展开更多

关键词 目标跟踪 图像特征融合 可见光图像 红外图像 连续自适应均值移动跟踪算法

在线阅读 下载PDF 职称材料

雨夜条件下的红外可见光视频融合目标跟踪 被引量：8

9

作者 吴克伟 段伟伟 杨学志 《仪器仪表学报》 EI CAS CSCD 北大核心 2016年第5期1131-1139,共9页

针对雨夜条件下目标外观特性衰退,造成目标搜索与跟踪过程中难以适应混杂背景干扰及雨滴突变干扰的问题,提出了一种基于背景抑制的红外可见光融合目标跟踪方法。该方法考虑了目标跟踪时间和空间两方面的外观分布特性,采用了多通道成像... 针对雨夜条件下目标外观特性衰退,造成目标搜索与跟踪过程中难以适应混杂背景干扰及雨滴突变干扰的问题,提出了一种基于背景抑制的红外可见光融合目标跟踪方法。该方法考虑了目标跟踪时间和空间两方面的外观分布特性,采用了多通道成像数据对前景目标进行特征表示,有效抑制了夜间条件下的混杂背景干扰。在目标模型更新过程中,本文通过分析雨滴突变造成的目标表示变化规律,采用突变检测模型,降低了雨滴突变对模型更新的干扰。实验采用了真实环境采集的雨夜条件的红外可见光视频,实验结果说明,本文方法优于现有目标跟踪方法,能够有效提高雨夜条件下的目标跟踪精度。 展开更多

关键词 目标跟踪 红外可见光视频融合 背景抑制 突变检测 雨夜条件

在线阅读 下载PDF 职称材料

无人机视角多源目标检测数据集UAV-RGBT及算法基准

10

作者 汪进中 戴顺 +5 位作者 张秀伟 田雪涛 邢颖慧 汪芳 尹翰林 张艳宁 《电子学报》 北大核心 2025年第3期686-704,共19页

基于无人机(Unmanned Aerial Vehicle,UAV)平台的可见光(Red Green Blue,RGB)和热红外(Thermal infrared,T)多源目标检测,可实现全天时、全天候的目标侦察,在军用和民用领域有着重要的应用价值.受限于数据拍摄获取和处理的复杂性,当前... 基于无人机(Unmanned Aerial Vehicle,UAV)平台的可见光(Red Green Blue,RGB)和热红外(Thermal infrared,T)多源目标检测,可实现全天时、全天候的目标侦察,在军用和民用领域有着重要的应用价值.受限于数据拍摄获取和处理的复杂性,当前少有公开的UAV视角RGB-T多源目标检测数据集,一定程度上限制了UAV视角RGB-T多源目标检测算法的研究和应用.与此同时,UAV应用场景复杂多变,其飞行高度、速度、焦距和背景等快速变化,所拍摄目标在图像上呈现出尺度多样、稠密/稀疏分布不均衡、类别不平衡等特点,具有一定的挑战性.此外,在诸如目标侦察、交通监控等高时效性应用场景中,算法需在保证高精度的同时实现实时目标检测,因此,算法的设计必须充分考虑精度与速度之间的平衡.针对上述问题,本文构建了一个跨季节、跨昼夜、多类别、多尺度的大规模UAV视角RGB-T多源图像数据集UAV-RGBT,包含20个类别、5117对RGB-T图像和超11万个标注,有助于推进UAV视角多源目标检测算法的研究.同时,基于YOLOv8n模型,本文提出了一种UAV视角多源目标检测(UAV-based Dualbranch Multispectral object Detection,UAV-DMDet)模型,其通过多源交叉注意力融合和多源特征分解组合方法有效促进了多源特征的深度融合,较好地实现了模型参数量、检测速度和检测精度的均衡.实验结果表明:在UAVRGBT数据集上,UAV-DMDet模型较单源YOLOv8n模型,在RGB和T模态方面,mAP@0.5分别提高了3.61%、11.03%,mAP@0.5:0.95分别提高了0.84%、6.76%;在DroneVehicle数据集上,mAP@0.5和mAP@0.5:0.95较主流算法I2MDet提高了2.66%和12.36%;在检测速度方面,以640×640分辨率图像为例,UAV-DMDet模型在单张GeForce RTX 3090显卡上FP32精度推理速度可达31帧/s,在华为昇腾710处理器上FP16精度推理速度可达58帧/s,可有效应用于UAV视角RGB-T多源实时目标检测任务. 展开更多

关键词 无人机(UAV) 可见光-热红外(RGB-T)多源目标检测 数据集 多源特征融合 YOLOv8

在线阅读 下载PDF 职称材料

基于多尺度模态融合的RGB-T目标跟踪网络 被引量：1

11

作者 程竹轩 范慧杰 +1 位作者 唐延东 王强 《山东科技大学学报（自然科学版）》 CAS 北大核心 2024年第1期89-99,共11页

可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪... 可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。 展开更多

关键词 目标跟踪 可见光与热红外 多尺度特征 模态融合 深度学习

在线阅读 下载PDF 职称材料

基于AdaBoost置信图的红外与可见光目标跟踪 被引量：1

12

作者 张灿龙 苏建才 +1 位作者 李志欣 王智文 《广西师范大学学报（自然科学版）》 CAS 北大核心 2018年第4期42-50,共9页

针对于复杂场景下,跟踪的目标容易产生漂移甚至跟踪失败的情况,本文提出了一种基于AdaBoost置信图的红外与可见光目标跟踪算法。首先,以颜色和纹理特征为描述子对红外与可见光图像的目标样本与背景样本进行表征和AdaBoost分类,并基于分... 针对于复杂场景下,跟踪的目标容易产生漂移甚至跟踪失败的情况,本文提出了一种基于AdaBoost置信图的红外与可见光目标跟踪算法。首先,以颜色和纹理特征为描述子对红外与可见光图像的目标样本与背景样本进行表征和AdaBoost分类,并基于分类度计算得到红外与可见光图像的置信图;然后,在置信图中分别计算它们的目标候选者与其模板置信图之间的相似度,并将两相似度进行加权融合,构建联合目标函数;最后,对目标函数进行泰勒展开和求导等操作,推导出联合位移公式,并运用均值漂移算法完成目标搜索。对多组红外与可见光图像序列对测试结果表明,本文提出的算法在处理光照变化、目标交汇、目标遮挡等方面都表现良好。 展开更多

关键词 级联分类器 置信图 红外与可见光目标 均值漂移 融合跟踪

在线阅读 下载PDF 职称材料

高精度红外与可见光视频运动目标智能跟踪方法 被引量：1

13

作者 许淑贤 赵志梅 《激光杂志》 CAS 北大核心 2021年第8期192-195,共4页

为了提高红外与可见光视频运动目标跟踪性能,提出了高精度红外与可见光视频运动目标智能跟踪方法。首先确定红外与可见光视频运动目标特征的权重值,并计算运动目标特征的稀疏程度,提取目标特征,采用卡尔曼滤波算法确定了运动目标的具体... 为了提高红外与可见光视频运动目标跟踪性能,提出了高精度红外与可见光视频运动目标智能跟踪方法。首先确定红外与可见光视频运动目标特征的权重值,并计算运动目标特征的稀疏程度,提取目标特征,采用卡尔曼滤波算法确定了运动目标的具体位置,采用粒子滤波实现运动目标跟踪算法,最后采用篮球的红外与可见光视频运动目标作为测试对象,结果表明,本文方法不仅可以提高红外与可见光视频中运动目标的跟踪准确率,还可以降低运动目标的跟踪误差,大大提升了运动目标的跟踪性能。 展开更多

关键词 红外与可见光 运动目标 智能跟踪 特征提取 跟踪算法

在线阅读 下载PDF 职称材料

RGB-D目标跟踪综述

14

作者 欧洲 应舸 +1 位作者 张大伟 郑忠龙 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2024年第11期1673-1690,共18页

近年来,随着深度学习的不断发展,已有许多基于深度学习的RGB目标跟踪算法被提出且取得较为显著的性能提升,但纯粹依靠可见光进行跟踪的算法在光照变化、背景干扰、严重遮挡等复杂场景下仍难以实现鲁棒跟踪.为应对高难度场景下的挑战,实... 近年来,随着深度学习的不断发展,已有许多基于深度学习的RGB目标跟踪算法被提出且取得较为显著的性能提升,但纯粹依靠可见光进行跟踪的算法在光照变化、背景干扰、严重遮挡等复杂场景下仍难以实现鲁棒跟踪.为应对高难度场景下的挑战,实现高效鲁棒的目标跟踪,多模态目标跟踪应运而生.以RGB-D目标跟踪算法为主,详细列举了当前可见光-深度的多模态目标跟踪算法,对各类算法的优缺点进行分析和比较;并介绍了主流的RGB-D目标跟踪数据集,挑战赛及其评价指标;最后总结了RGB-D目标跟踪技术的发展趋势和挑战,并展望其未来的发展方向:特殊场景RGB-D数据集建设、全新RGB-D目标跟踪评估范式和有效模态融合的RGB-D模型范式. 展开更多

关键词 目标跟踪 多模态 可见光-深度特征融合

在线阅读 下载PDF 职称材料

利用Transformer的多模态目标跟踪算法 被引量：2

15

作者 刘万军 梁林林 曲海成 《计算机工程与应用》 CSCD 北大核心 2024年第11期84-94,共11页

目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像... 目前目标跟踪方法大多通过融合不同模态信息进行定位决策,存在信息提取不充分、融合方法简单、弱光场景无法准确跟踪目标的问题。为此,提出一种基于Transformer的多模态目标跟踪算法(Trans-RGBT):利用伪孪生网络对可见光图像和红外图像分别进行特征提取,并在特征层面充分融合;将首帧目标信息调制到待跟踪帧的特征向量中,得到一个专用跟踪器;应用Transformer的方法对视野中的目标进行编解码,通过空间位置预测分支预测目标在视野中的空间位置,并结合历史信息滤除干扰目标,得到目标的准确位置;使用矩形框回归网络预测目标的外接矩形框,从而实现目标准确跟踪。在最新的大规模数据集VTUAV、RGBT234上进行了实验,与孪生网络(Siambased)、滤波(filter-based)算法相比,Trans-RGBT精度更高、鲁棒性更好、速度接近实时,达22 FPS。 展开更多

关键词 多模态融合 可见光图像 红外图像 TRANSFORMER 目标跟踪

在线阅读 下载PDF 职称材料

光谱信息扩展的单目标跟踪技术研究进展 被引量：1

16

作者 许廷发 李天昊 +1 位作者 王颖 李佳男 《信号处理》 CSCD 北大核心 2024年第11期1925-1950,共26页

基于可见光图像的单目标跟踪方法经过多年发展,取得了卓越的成效。然而,在低照度、杂乱背景、相似目标干扰等场景时,这类方法的目标表征具有明显的限制。与此相比,热红外图像和多光谱图像提供了热辐射和光谱特性,为目标跟踪技术提供了... 基于可见光图像的单目标跟踪方法经过多年发展,取得了卓越的成效。然而,在低照度、杂乱背景、相似目标干扰等场景时,这类方法的目标表征具有明显的限制。与此相比,热红外图像和多光谱图像提供了热辐射和光谱特性,为目标跟踪技术提供了光谱信息的扩展。基于可见光-红外RGB-T(RGB-Thermal)和多光谱图像的单目标跟踪技术已经取得了一定的进展,然而目前仍缺乏一个全面的综述文献。因此,本文对光谱信息扩展的单目标跟踪技术进行了全面的回顾与分析。首先,本文梳理并总结了光谱信息扩展的目标跟踪框架。在此基础上,详细讨论了基于RGB-T图像的目标跟踪改进方法,包括特征融合策略的设计、先验挑战属性的利用和高质量特征的生成。同时,从多光谱跟踪方法的传统模式、谱段选择策略的构建、多光谱特征的高效表达和适用于多种成像设备的模型设计四个方面,全面阐述了基于多光谱图像的目标跟踪方法的改进策略和方法优势。此外,本文汇总了目前RGB-T和多光谱图像的单目标跟踪数据集和评价指标,对比了不同跟踪算法在这些数据集上的性能表现。最后,探讨了光谱信息扩展的单目标跟踪技术的未来发展趋势,强调了构建大规模数据集、发展多光谱数据的预训练模型、充分表达光谱维度信息、理解红外及高光谱图像数据分布和大模型与目标跟踪技术结合作为未来研究的热点和难点,旨在为该领域的研究人员提供参考和启示。 展开更多

关键词 单目标跟踪 可见光-红外目标跟踪 多光谱目标跟踪 多光谱成像

在线阅读 下载PDF 职称材料

基于红外与可见光的鲁棒压缩感知跟踪方法 被引量：1

17

作者 朱甦 何亮 薄煜明 《电光与控制》 北大核心 2016年第10期21-26,共6页

为了解决复杂背景下遮挡、光照变化或噪声干扰时跟踪的效果容易受到干扰的问题,提出了一种基于红外与可见光的双通道鲁棒的压缩感知目标跟踪方法。该方法提取红外和可见光双通道的多个特征,采用压缩感知的稀疏采样特性,去除稀疏跟踪算... 为了解决复杂背景下遮挡、光照变化或噪声干扰时跟踪的效果容易受到干扰的问题,提出了一种基于红外与可见光的双通道鲁棒的压缩感知目标跟踪方法。该方法提取红外和可见光双通道的多个特征,采用压缩感知的稀疏采样特性,去除稀疏跟踪算法中非负性假设。提出了一种粒子滤波框架下的压缩感知的目标跟踪算法,同时给出一种目标模板根据Bhattacharyya系数自适应更新方法。实验采用复杂环境下多组图像序列,结果表明该方法与3种优秀的跟踪算法相比,具有更强的鲁棒性与更高的跟踪精度,同时减少了数据计算量,实现了复杂环境下图像目标的稳定跟踪。 展开更多

关键词 目标跟踪 压缩感知 粒子滤波 红外 可见光

在线阅读 下载PDF 职称材料

RGB-T目标跟踪综述 被引量：4

18

作者 丁正彤 徐磊 +4 位作者 张研 李飘扬 李阳阳 罗斌 涂铮铮 《南京信息工程大学学报（自然科学版）》 CAS 2019年第6期690-697,共8页

RGB-T目标跟踪是基于RGB目标跟踪问题发展而来的.为了提高复杂环境下的目标跟踪性能,学者们提出结合可见光和热红外的信息来克服单一成像受限的问题.本文首先介绍了RGB-T目标跟踪的研究背景,并指出该任务所面临的挑战,然后归纳并介绍了... RGB-T目标跟踪是基于RGB目标跟踪问题发展而来的.为了提高复杂环境下的目标跟踪性能,学者们提出结合可见光和热红外的信息来克服单一成像受限的问题.本文首先介绍了RGB-T目标跟踪的研究背景,并指出该任务所面临的挑战,然后归纳并介绍了目前已有的RGB-T目标跟踪的几类方法,包括传统方法和深度学习方法.最后,本文对现有的RGB-T数据集、评价指标进行了分析和对比,并指出RGB-T跟踪中值得研究的方面. 展开更多

关键词 可见光-热红外 多模态 目标跟踪

在线阅读 下载PDF 职称材料

一种基于运动估计的红外目标跟踪方法 被引量：4

19

作者 修彬 李成龙 +1 位作者 汤进 罗斌 《计算机工程与应用》 CSCD 2014年第12期125-128,共4页

为解决红外目标跟踪中目标的交错、遮挡等问题,提出了一种新的基于运动估计的目标跟踪方法。建立目标的方向梯度-灰度直方图特征模型,该模型能较准确地刻画目标特征。使用最大后验概率指标在搜索区域进行目标匹配,该指标能很好地突出目... 为解决红外目标跟踪中目标的交错、遮挡等问题,提出了一种新的基于运动估计的目标跟踪方法。建立目标的方向梯度-灰度直方图特征模型,该模型能较准确地刻画目标特征。使用最大后验概率指标在搜索区域进行目标匹配,该指标能很好地突出目标、抑制背景,并容易得到全局最优解。提出一种新的运动估计方法,即轨迹预测算法,对目标的运动进行较准确的估计。实验结果证明,该方法不仅计算复杂度低,而且能够较好地解决目标交错、遮挡等问题。 展开更多

关键词 红外目标跟踪 方向梯度-灰度直方图特征 最大后验概率 运动估计

在线阅读 下载PDF 职称材料

基于极化注意力的双模态目标跟踪算法

20

作者 权家锐 何乐生 +2 位作者 余圣涛 廖伟 尹恒 《电光与控制》 CSCD 北大核心 2024年第10期15-20,共6页

基于可见光图像的视觉目标跟踪在雨雾天气和光照变化的场景下,其可见光图像信息将变得不再可靠,而红外图像通过反映物体的热源信息成像,能够在上述情况下清晰地成像,因此,利用红外图像与可见光图像的互补性优势,可实现在复杂场景下的鲁... 基于可见光图像的视觉目标跟踪在雨雾天气和光照变化的场景下,其可见光图像信息将变得不再可靠,而红外图像通过反映物体的热源信息成像,能够在上述情况下清晰地成像,因此,利用红外图像与可见光图像的互补性优势,可实现在复杂场景下的鲁棒性跟踪。在特征提取层利用多尺度特征提取结构获得目标在不同尺度感受域的特征,并通过自适应权重分配增强特征选择能力;利用极化注意力机制对特征进行增强,从而有效地融合双模态信息进行鲁棒性跟踪。所提算法在大型红外与可见光数据集GTOT与RGBT234上进行实验验证,精确率和成功率分别达到了90.05%、72.7%与78.7%、55.5%。实验结果表明,所提算法在跟踪精确率与成功率方面均优于目前主流算法。 展开更多

关键词 极化注意力 红外与可见光融合 目标跟踪 深度学习

在线阅读 下载PDF 职称材料