-
题名基于无监督深度学习的红外图像与可见光图像融合算法
被引量：3
- 1
-
-
作者
张宇苏
吴小俊
李辉
徐天阳
-
机构
江南大学人工智能与计算机学院
江南大学江苏省模式识别与计算智能工程实验室
-
出处
《南京师范大学学报（工程技术版）》
CAS
2023年第1期1-9,共9页
-
基金
国家自然科学基金资助项目(62020106012、U1836218、62106089)
教育部111项目(B12018)。
-
文摘
红外和可见光图像表征了互补的场景信息.现有的基于深度学习的融合方法大多通过独立提取网络分别提取两个源图像特征,从而丢失了源图像之间的深度特征联系.基于此,提出了一种新的基于无监督深度学习的红外图像与可见光图像融合算法,针对不同模态的特点采用不同的编码方式提取图像特征,利用一个模态的信息补充另一个模态的信息,并对提取到的特征进行融合,最后根据融合特征重建融合图像.该算法可在两个模态的特征提取路径之间建立交互,不仅可预融合梯度信息和强度信息,且能增强后续处理的信息.同时设计了损失函数,引导模型保留可见光的细节纹理,并保持红外的强度分布.将所提算法与多种融合算法在公开数据集上进行对比实验,结果表明,所提算法获得了良好的视觉效果,客观指标评价方面对比现有的优秀算法也有一定的提升.
-
关键词
图像融合
可见光图像
红外图像
无监督学习
卷积神经网络
-
Keywords
image fusion
visible image
infrared image
unsupervised learning
convolutional neural network
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
