-
题名基于卷积与自注意力的红外与可见光图像融合
- 1
-
-
作者
陈晓萱
徐书文
胡绍海
马晓乐
-
机构
北京交通大学计算机与信息技术学院
中国电子科技集团公司电视电声研究所
-
出处
《系统工程与电子技术》
EI
CSCD
北大核心
2024年第8期2641-2649,共9页
-
基金
国家自然科学基金(62172030,62202036)资助课题。
-
文摘
由于卷积运算过于关注图像的局部特征,在对源图像进行融合时容易造成融合图像的全局语义信息丢失。为了解决该问题,提出一种基于卷积与自注意力的红外与可见光图像融合模型。该模型在使用卷积模块提取图像局部特征的同时,还使用自注意力来提取图像全局特征。此外,由于简单运算无法满足不同层次特征的融合,提出使用嵌入式块残差融合模块来实现多层次特征融合。实验结果表明,相比无监督深度融合算法,所提的方法在主观评价与6项客观指标上的结果具有一定优势。其中,互信息、标准差和视觉保真度分别提升了61.33%、9.96%和19.46%。
-
关键词
图像融合
全局特征
自注意力机制
自编码器
深度学习
-
Keywords
image fusion
global features
self attention
auto-encoder
deep learning
-
分类号
TN911.73
[电子电信—通信与信息系统]
-
