-
题名基于场景自适应知识蒸馏的红外与可见光图像融合
- 1
-
-
作者
蔡烁
姚玄石
唐远志
邓泽阳
-
机构
长沙理工大学大学计算机与通信工程学院
-
出处
《电子与信息学报》
北大核心
2025年第4期1150-1160,共11页
-
基金
国家自然科学基金(62172058)
湖南省自然科学基金(2022JJ10052)。
-
文摘
红外与可见光图像融合的目的是将这两种异模态图像信息整合成场景细节信息更全面的融合图像。现有的一些融合算法仅关注评价指标的提升,而忽略了其在现实应用中的模型轻量性和场景泛化性的需求。为了解决该问题,该文提出一种基于场景自适应知识蒸馏的红外与可见光图像融合方法。首先,将领先的融合算法作为教师网络得到白天场景的学习样本,用低光增强算法继续处理得到黑夜场景的学习样本;然后,通过光照感知网络预测可见光图像的白天黑夜场景概率,从而指导学生网络实现对教师网络的场景自适应知识蒸馏;最后,引入基于结构重参数化的视觉变换器(RepViT)进一步降低模型的计算资源消耗。在MSRS和LLVIP数据集上与7种主流的深度学习融合算法进行了定性与定量的实验对比,所提融合方法能够在更低的计算资源消耗下,实现多个评价指标的提升,并在白天黑夜场景均能实现较好的融合视觉效果。
-
关键词
红外与可见光图像融合
场景自适应
知识蒸馏
结构重参数化
深度学习
-
Keywords
Infrared and visible light image fusion
Scene-adaptive
Knowledge distillation
Structural reparameterization
Deep learning
-
分类号
TN911.73
[电子电信—通信与信息系统]
TN219
[电子电信—物理电子学]
TP391.41
[自动化与计算机技术—计算机应用技术]
-
