期刊文献+
共找到743篇文章
< 1 2 38 >
每页显示 20 50 100
基于多路径上下文特征感知的可见光与红外融合图像语义分割
1
作者 李迪 申森 +1 位作者 余浩男 李鹏飞 《海军工程大学学报》 北大核心 2025年第1期84-90,共7页
主流语义分割方法存在针对遮挡、重叠导致的分割效果不佳和类间边界分割缺失等问题。为此,设计了一种基于可见光与红外融合图像的多尺度补丁嵌入和多路径交叉注意力语义分割方法,实现了多类别目标的高精度完整分割。首先,采用多层深度... 主流语义分割方法存在针对遮挡、重叠导致的分割效果不佳和类间边界分割缺失等问题。为此,设计了一种基于可见光与红外融合图像的多尺度补丁嵌入和多路径交叉注意力语义分割方法,实现了多类别目标的高精度完整分割。首先,采用多层深度可分离卷积组成的补丁嵌入模块提取多尺度语义表征信息;然后,使用并行处理模式的多路径交叉注意力模块基于补丁嵌入阶段的全局上下文信息构建完整序列模型,在同一层级实现从粗粒度到细粒度信息的特征表示;最后,在解码器阶段设计了一个多层渐进交互模块,对编码器阶段获取的多尺度特征采用逐层交互后渐进融合的方式聚合多类语义信息和空间信息,克服了类间分割边界不完整和类内分割不一致的难点。实验结果表明:在基于可见光与红外融合图像组成的数据集的语义分割实验中,所提方法整体性能优于目前的主流分割方法。 展开更多
关键词 可见光与红外融合图像 语义分割 多尺度补丁嵌入 交叉注意力 多尺度特征融合
在线阅读 下载PDF
可见光与红外融合图像反射与辐射光谱分析 被引量:3
2
作者 许辉 袁轶慧 常本康 《红外技术》 CSCD 北大核心 2011年第7期420-423,共4页
可见光图像与红外图像融合是近年来热门的研究领域。根据日光的光谱分布、目标的反射系数以及黑体的红外辐射,详细分析了人体、深色涂层、高温玻璃杯等常见目标的反射辐射光谱分布和红外辐射光谱分布。利用研制的可见光与红外融合图像... 可见光图像与红外图像融合是近年来热门的研究领域。根据日光的光谱分布、目标的反射系数以及黑体的红外辐射,详细分析了人体、深色涂层、高温玻璃杯等常见目标的反射辐射光谱分布和红外辐射光谱分布。利用研制的可见光与红外融合图像采集系统,采集了常见目标的可见光与红外融合图像,得到了从可见光波段到红外波段融合图像的全光谱曲线。对可见光图像和红外图像进行了对比,比较的结果表明,融合图像具有包含反射辐射和红外辐射的双重特性,使其光谱从单一的可见光波段或者红外波段拓展到从0.39μm到15μm的全波段。融合图像的信息量增加的根本原因是光谱信息的叠加。 展开更多
关键词 反射辐射分布 红外辐射分布 融合图像光谱
在线阅读 下载PDF
条件扩散和多通道高低频并行的红外与可见光图像融合
3
作者 邸敬 王鹤然 +2 位作者 梁婵 刘冀钊 廉敬 《光学精密工程》 北大核心 2025年第1期148-163,共16页
针对去噪扩散模型在红外与可见光图像融合任务中缺少基准真实值和可见光信息利用不足的问题,提出一种条件扩散和多通道高低频并行的红外与可见光图像融合模型。条件扩散模型利用拼接技术将拼接源图像作为基准真实值进行训练,获得红外与... 针对去噪扩散模型在红外与可见光图像融合任务中缺少基准真实值和可见光信息利用不足的问题,提出一种条件扩散和多通道高低频并行的红外与可见光图像融合模型。条件扩散模型利用拼接技术将拼接源图像作为基准真实值进行训练,获得红外与可见光图像特征提取任务的最优先验分布,在反向去噪过程中引入多通道似然校正模块,更有效地模拟红外与可见光图像的多通道复杂分布。然后,提出细节自适应去噪网络来完成红外与可见光图像的多通道高低频特征提取任务。最后,在融合网络中设计了一种多通道高低频并行融合模块,采用区域一致性融合网络和多通道低频特征融合网络分别完成高低频特征的融合。该模型为红外与可见光图像融合任务提供了一种可训练的扩散模型范式用于特征提取,使用特定的卷积神经网络进行特征融合。通过与近年来提出的9种高水平方法相比,在MSRS和RoadScene数据集上的实验结果表明,本文方法的8种客观评价指标平均提升了4.52%~59.62%。本文方法在色彩保真度和纹理细节保持等方面都优于其他方法,符合人眼视觉特性,能够很好地处理各种光照和环境场景下的红外与可见光图像融合任务。 展开更多
关键词 图像融合 红外可见光 条件扩散模型 细节自适应去噪网络 多通道高低频并行融合模块
在线阅读 下载PDF
基于跨域交互注意力和对比学习引导的红外与可见光图像融合
4
作者 邸敬 梁婵 +1 位作者 刘冀钊 廉敬 《中国光学(中英文)》 北大核心 2025年第2期317-332,共16页
现有红外与可见光图像融合方法难以充分提取和保留源图像细节信息与对比度,导致纹理细节模糊。针对这一问题,本文提出了一种跨域交互注意力和对比学习引导的红外与可见光图像融合方法。首先,设计了双支路跳跃连接的细节增强网络,从红外... 现有红外与可见光图像融合方法难以充分提取和保留源图像细节信息与对比度,导致纹理细节模糊。针对这一问题,本文提出了一种跨域交互注意力和对比学习引导的红外与可见光图像融合方法。首先,设计了双支路跳跃连接的细节增强网络,从红外和可见光图像中分别提取和增强细节信息,并利用跳跃连接避免信息丢失,生成增强后的细节图像。接着,构建了联合双分支编码器和跨域交互注意力模块的图像融合网络,确保特征融合时充分进行特征交互,并通过解码器重建为最终的融合图像。然后,引入了通过对比学习块进行浅层和深层属性和内容的对比学习网络,优化特征表示,进一步提升图像融合网络的性能。最后,为了约束网络训练以保留源图像的固有特征,设计了一种基于对比约束的损失函数,以辅助融合过程对源图像信息的对比保留。将提出方法与前沿融合方法进行了定性和定量的分析比较。在TNO、MSRS、RoadSence数据集上的实验结果表明:本文方法的8项客观评价指标均较对比方法有显著提升。本文方法融合后图像具有丰富的细节纹理、显著的清晰度和对比度,有效提高了道路交通、安防监控等实际应用中的目标识别和环境感知能力。 展开更多
关键词 红外可见光图像融合 对比学习 跨域交互注意力机制 对比约束损失
在线阅读 下载PDF
融合可见光与红外图像的光伏阵列缺陷检测
5
作者 白晓静 徐佳伟 +3 位作者 皮宇啸 张文彪 洪烽 李佩哲 《太阳能学报》 北大核心 2025年第4期313-321,共9页
为保证光伏发电稳定、高效和安全运行,需及时检测光伏阵列的运行状况并发现存在的缺陷。提出融合可见光与红外图像的光伏阵列缺陷检测方法,采用CenterNet进行可见光图像光伏组件中太阳电池检测,采用U-Net对红外图像高温区域进行分割,提... 为保证光伏发电稳定、高效和安全运行,需及时检测光伏阵列的运行状况并发现存在的缺陷。提出融合可见光与红外图像的光伏阵列缺陷检测方法,采用CenterNet进行可见光图像光伏组件中太阳电池检测,采用U-Net对红外图像高温区域进行分割,提出区域匹配模块对可见光与红外图像进行匹配,提出关键点(PoI)聚集模块和二次分类器实现关键点处特征向量的聚集以及太阳电池缺陷分类,最后结合可见光图像异物遮挡及红外图像温度异常识别缺陷太阳电池位置及类型。选择不同网络进行测试,提出的算法在较为轻量的CenterNet和U-Net网络上太阳电池检测的AP50-95值达到84.4%,异常温度区域分割的IoU达到89.7%,且单张检测时间约为38 ms,能以较快的速度完成异常太阳电池的检测。 展开更多
关键词 太阳电池 光伏阵列 目标检测 图像分割 红外图像 可见光图像
在线阅读 下载PDF
基于TransNeXt的红外与可见光图像融合
6
作者 杨艳春 杨万轩 雷慧云 《湖南大学学报(自然科学版)》 北大核心 2025年第8期69-79,共11页
针对红外与可见光图像融合过程中出现的细节丢失和易产生伪影等问题,本文提出了一种基于TransNeXt的融合算法.首先,通过卷积神经网络与TransNeXt对源图像进行浅层与深层特征提取,并通过信息补偿模块对红外浅层特征进行信息补偿,使其具... 针对红外与可见光图像融合过程中出现的细节丢失和易产生伪影等问题,本文提出了一种基于TransNeXt的融合算法.首先,通过卷积神经网络与TransNeXt对源图像进行浅层与深层特征提取,并通过信息补偿模块对红外浅层特征进行信息补偿,使其具有更多的语义信息.然后,通过基于交叉注意力的融合模块进行特征融合,它能够根据源图像不同区域的重要性调整权重以适应场景变化,提高融合结果的鲁棒性和准确性.最后,通过基于Trans-former的模块进行图像重建以得到最终融合图像.此外,本文通过基于VGG19显著区域掩膜的损失函数约束融合过程,使融合结果在重要区域保留更丰富的信息.实验结果表明,与其他7种对比方法相比,本文方法的客观评价指标信息熵、标准差、差异相关性总和、峰值信噪比和像素特征互信息分别平均提高了10.92%、14.85%、24.80%、2.26%、1.30%,并且能够在保留丰富的纹理信息的同时伪影较少,具有优异的夜间灯光融合效果,在目标检测上相较对比方法也取得了更好的效果. 展开更多
关键词 红外可见光图像融合 卷积神经网络 TRANSFORMER TransNeXt
在线阅读 下载PDF
夜间红外与可见光多尺度信息注入式图像融合
7
作者 杨艳春 李佳龙 +1 位作者 李毅 王泽煜 《光学精密工程》 北大核心 2025年第2期282-297,共16页
针对低光照条件下红外与可见光图像融合由于忽视光照而导致纹理细节不清晰、视觉感知较差等问题,本文提出了一种低光增强和语义注入式多尺度红外与可见光图像融合方法。首先,设计了一种适合低光增强的网络,通过残差模型反复迭代,实现夜... 针对低光照条件下红外与可见光图像融合由于忽视光照而导致纹理细节不清晰、视觉感知较差等问题,本文提出了一种低光增强和语义注入式多尺度红外与可见光图像融合方法。首先,设计了一种适合低光增强的网络,通过残差模型反复迭代,实现夜间场景下可见光图像的增强。然后,采用一种基于Nest架构的特征提取器作为网络的编码与解码器,其中深层特征能捕获图像的复杂结构和语义信息,设计了一种语义先验学习模块,通过交叉注意力进一步提取深层红外与可见光图像的语义信息,采用语义注入单元,将增强特征逐级注入了各个尺度。其次,设计了梯度增强分支,主流特征先通过混合注意力,再由主流分出Sobel算子流和Laplacian算子流,以此增强融合图像梯度。最后,通过解码器中同层之间的密集连接和不同层之间的跳跃连接,对各尺度特征进行重构。实验结果表明,本文在视觉信息保真度、互信息、差异相关系数和空间频率,较九种对比方法分别平均提高了23.1%,16.3%,18%,39.8%,有效提升了低光环境下融合图像的质量,有助于提升高级视觉任务的性能。 展开更多
关键词 红外可见光图像融合 多尺度融合网络 低光增强 交叉注意力 语义注入
在线阅读 下载PDF
基于模糊逻辑与自适应策略的红外可见光图像融合
8
作者 杨勇 刘家祥 +2 位作者 黄淑英 王晓争 夏钰锟 《北京航空航天大学学报》 北大核心 2025年第7期2196-2208,共13页
由于成像机制不同,红外图像能捕捉目标信息,可见光图像提供纹理细节,需融合两者以提升视觉感知与机器识别效果。基于模糊逻辑理论,提出一种多级模糊逻辑判别与自适应参数融合策略(MFD-APFS)的红外与可见光图像融合方法。将红外图像与可... 由于成像机制不同,红外图像能捕捉目标信息,可见光图像提供纹理细节,需融合两者以提升视觉感知与机器识别效果。基于模糊逻辑理论,提出一种多级模糊逻辑判别与自适应参数融合策略(MFD-APFS)的红外与可见光图像融合方法。将红外图像与可见光图像分别进行结构块分解,得到由信号强度分量重构的对比度细节图像组;将源图像组与对比度细节图像组分别输入设计的模糊逻辑判别系统,对图像组进行模糊逻辑判别得到各自的显著性图像,并对得到的显著性图像组进行二次模糊逻辑判别,得到联合的显著性图像;利用引导滤波技术,将显著性图像引导源图像,得到多幅决策图,通过自适应参数的融合策略,得到最终的融合图像。将MFD-APFS方法在红外和可见光图像公开数据集上进行实验测试,结果表明,相比7种主流的融合方法,对于客观度量指标SSIM-F和QAB/F,在TNO数据集上分别提升了0.169和0.1403,在RoadScenes数据集上分别提升了0.1753和0.0537;主观视觉效果表明,所提方法可以生成目标清晰、细节丰富的融合图像,较好地保留了红外图像目标信息及可见光图像纹理信息。 展开更多
关键词 红外可见光图像融合 自适应参数融合策略 多级模糊逻辑 引导滤波 决策图
在线阅读 下载PDF
基于箭尾识别与区域重构的可见光与红外图像融合方法
9
作者 任臻臻 孙策 +2 位作者 王威 王强 占荣辉 《弹箭与制导学报》 北大核心 2025年第3期303-310,共8页
夜间火箭发射可见光图像具有清晰的尾焰纹理和颜色信息,红外图像呈现出轮廓完整的箭体和过饱和尾焰。基于两者间互补信息的高契合度,将可见光图像与红外图像融合,同时清晰地呈现箭体和尾焰信息一直是提升发射场火箭成像观测能力的研究... 夜间火箭发射可见光图像具有清晰的尾焰纹理和颜色信息,红外图像呈现出轮廓完整的箭体和过饱和尾焰。基于两者间互补信息的高契合度,将可见光图像与红外图像融合,同时清晰地呈现箭体和尾焰信息一直是提升发射场火箭成像观测能力的研究重点。文中提出了一种基于箭尾识别与区域重构的夜间可见光与红外图像融合方法。该方法通过箭体不变特征搜寻箭体尾部分割线,利用分割线完成区域划分,最后使用区域重构的融合策略完成红外箭体和可见尾焰的融合,有效避免可见光和红外特征信息缺失,最大化融合可见光图像与红外图像的语义信息。实验结果表明,与当前主要图像融合方法相比,文中所提出的融合方法显著提高了融合效果,较好保留了可见光与红外源图像的特征信息和细节信息,并且融合时间较短,可以达到准实时效果。 展开更多
关键词 图像融合 可见光图像 红外图像 箭尾识别 区域重构
在线阅读 下载PDF
基于语义驱动的红外与可见光图像交互融合
10
作者 王瑾春 马萍 +2 位作者 张宏立 王聪 苑茹 《哈尔滨工业大学学报》 北大核心 2025年第9期56-64,共9页
为解决现有的红外与可见光图像融合算法存在像素信息保留和语义特征提取不足的问题,提出一种基于语义驱动的红外与可见光图像交互融合算法。首先,通过联合操作图像融合网络和图像分割网络,形成语义驱动效果,更好地保留图像在像素域和语... 为解决现有的红外与可见光图像融合算法存在像素信息保留和语义特征提取不足的问题,提出一种基于语义驱动的红外与可见光图像交互融合算法。首先,通过联合操作图像融合网络和图像分割网络,形成语义驱动效果,更好地保留图像在像素域和语义域的信息特征;然后,构建跨域交互整合模块,捕捉红外与可见光图像特征,允许特征在不同空间和独立通道之间交互传递,实现特征从局部到全局的映射,增强两类图像的互补特性;最后,引入语义损失函数约束网络训练以保留源图像的内在语义特征。在多波段图像数据集和多光谱道路场景数据集上进行图像融合和分割实验,并与其他6种先进的融合算法进行比较。融合实验结果表明,本文算法在基于梯度的相似性度量、信息熵、峰值信噪比、空间频率、标准差、视觉保真度6个客观评价指标上分别平均提高了47.92%、6.15%、0.87%、44.31%、35.99%、36.88%;分割实验结果表明,本文算法在所有评价指标中,结果均为最优。所提算法在主观视觉效果的定性分析与客观质量评价的定量指标方面整体效果优于现有融合算法,融合图像可以兼顾视觉质量和高级语义任务,能更好地服务于人类视觉观察和机器视觉感知。 展开更多
关键词 交互融合 红外可见光图像 语义驱动 语义分割
在线阅读 下载PDF
基于HMSD与改进PCNN的红外与可见光图像融合
11
作者 任鹏百 雷慧云 +3 位作者 党建武 王阳萍 刘启明 杨莉 《光学精密工程》 北大核心 2025年第9期1481-1495,共15页
为了解决红外与可见光图像在融合过程中,由于分解工具存在的信息损失和数据冗余等局限性,导致融合图像边缘和细节信息容易受损的问题,提出一种混合多尺度分解模型(Hybrid Multi-scale Decomposition Model,HMSD)与改进脉冲耦合神经网络(... 为了解决红外与可见光图像在融合过程中,由于分解工具存在的信息损失和数据冗余等局限性,导致融合图像边缘和细节信息容易受损的问题,提出一种混合多尺度分解模型(Hybrid Multi-scale Decomposition Model,HMSD)与改进脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的红外与可见光图像融合算法。首先,结合快速交替引导滤波器(Fast Alternating Guided Filtering,FAGF)与高斯滤波器(Gaussian Filter,GF)的特性,提出一种新的混合多尺度分解模型(HMSD),源图像利用HMSD模型分解为一个基础层及三层特征图,每层特征图均包含细、粗双重结构;然后,基础层融合采用核范数最小化(Nuclear Norm Minimization,NNM)融合规则,针对各特征图特性,分别采用改进脉冲耦合神经网络和区域能量融合规则。实验结果表明,本文方法在空间频率、信息熵、融合质量、峰值信噪比、视觉保真度和标准差等多种客观评价指标上分别平均提高了47.6%,5.2%,6.4%,9.4%,5.3%,27.3%,不仅较好地保留了源图像的边缘和纹理等信息,而且在视觉效果上也有所提升。 展开更多
关键词 图像融合 红外可见光 混合多尺度分解 快速交替引导滤波器 脉冲耦合神经网络
在线阅读 下载PDF
深度学习框架下的红外与可见光图像融合方法综述 被引量:1
12
作者 李淑慧 蔡伟 +2 位作者 王鑫 高蔚洁 狄星雨 《计算机工程与应用》 北大核心 2025年第9期25-40,共16页
红外与可见光图像融合(infrared and visible image fusion,IVIF)将红外图像与可见光图像的互补信息融合,提升图像质量以支持下游任务。鉴于深度学习在图像融合方面的优势,将其应用在IVIF领域已成为研究热点。对深度学习框架下的红外与... 红外与可见光图像融合(infrared and visible image fusion,IVIF)将红外图像与可见光图像的互补信息融合,提升图像质量以支持下游任务。鉴于深度学习在图像融合方面的优势,将其应用在IVIF领域已成为研究热点。对深度学习框架下的红外与可见光图像融合方法进行梳理分析,根据不同的融合框架将融合方法分为基于自编码器、卷积神经网络、生成对抗网络和变换器,并对比分析这四类方法的特点;综述了IVIF的主要应用领域、常用的6个数据集和8个评价指标,并在典型数据集上对各类主流IVIF方法进行定性和定量评估。最后,总结了现有IVIF方法的局限性,并展望了IVIF的未来研究方向。 展开更多
关键词 深度学习 图像融合 红外图像 可见光图像
在线阅读 下载PDF
基于DenseFuse网络的无人机载红外和可见光鹿科动物图像融合
13
作者 李汶佼 包衡 +5 位作者 杜化林 李洋 张卫华 杨琨 马光凯 姜广顺 《野生动物学报》 北大核心 2025年第3期514-522,共9页
野生鹿科(Cervidae)动物作为生态系统的组成部分,在维持生态平衡方面扮演着至关重要的角色。无人机影像技术在野生动物监测中的应用已日趋成熟,但受自然光照条件和野外环境复杂多变的影响,单一光谱成像技术很难得到高质量的野生鹿科动... 野生鹿科(Cervidae)动物作为生态系统的组成部分,在维持生态平衡方面扮演着至关重要的角色。无人机影像技术在野生动物监测中的应用已日趋成熟,但受自然光照条件和野外环境复杂多变的影响,单一光谱成像技术很难得到高质量的野生鹿科动物图像。因此提出一种基于DenseFuse网络的图像融合算法,通过无人机搭载的多光谱成像设备,将红外图像与可见光图像融合,同时保留红外图像的轮廓信息和可见光图像的外貌信息,提高了监测图像质量。基于野生鹿科动物影像数据集,采用多种图像融合策略进行实验,对红外图像与可见光图像的融合效果展开细致对比。结果显示,通过使用l1-norm融合策略所获得的综合评价指标最优,经该策略融合后得到的图像平均信息熵达到了6.965。这一结果表明,本研究所提出的无人机多光源图像融合算法能够为野生动物监测工作提供可靠的技术支撑。 展开更多
关键词 红外图像 可见光图像 野生动物 图像融合
在线阅读 下载PDF
红外与可见光图像多层感知机交互融合方法
14
作者 孙婧 王志社 +1 位作者 杨帆 余朝发 《红外技术》 北大核心 2025年第5期619-627,共9页
现有的Transformer融合方法利用自注意力机制建立图像上下文的全局依赖关系,从而产生优越的融合性能。然而由于与注意力机制相关的模型高复杂度,导致训练效率较低,限制了图像融合的实际应用。为此,本文提出了红外与可见光图像多层感知... 现有的Transformer融合方法利用自注意力机制建立图像上下文的全局依赖关系,从而产生优越的融合性能。然而由于与注意力机制相关的模型高复杂度,导致训练效率较低,限制了图像融合的实际应用。为此,本文提出了红外与可见光图像多层感知机交互融合方法。首先,构建轻量化多层感知机网络架构,利用全连接层建立全局依赖关系,在获得较高的计算效率时,具有较强的特征表征能力。其次,设计了级联空间通道交互模型,实现不同空间位置和独立通道之间的特征交互,从而聚焦源图像各自的内在特征,增强模态间特征的互补性。与其他7种典型的融合方法相比,TNO、MSRS数据集以及目标检测任务的实验结果表明,本文方法在主观视觉描述和客观指标评价都优于其他融合方法。本方法利用多层感知机建立图像的长距离依赖关系,构建了级联空间通道交互模型,从空间和通道维度提取图像全局特征,比其他典型融合方法具有更优越的融合性能和更高的计算效率。 展开更多
关键词 图像融合 多层感知机 特征交互 红外图像 可见光图像
在线阅读 下载PDF
去噪扩散模型驱动的纹理增强红外-可见光图像融合方法
15
作者 王洪雁 彭俊 杨凯 《电子与信息学报》 北大核心 2025年第6期1992-2004,共13页
针对现有融合算法在处理多源数据时未能充分结合纹理细节和色彩强度信息的问题,该文提出一种去噪扩散模型驱动的红外-可见光图像融合方法。所提方法通过去噪扩散网络提取多尺度空时特征,并结合高频特征增强红外图像边缘信息,利用双向多... 针对现有融合算法在处理多源数据时未能充分结合纹理细节和色彩强度信息的问题,该文提出一种去噪扩散模型驱动的红外-可见光图像融合方法。所提方法通过去噪扩散网络提取多尺度空时特征,并结合高频特征增强红外图像边缘信息,利用双向多尺度卷积模块和双向注意力融合模块确保全局信息的充分利用和局部细节的精确捕捉。同时,模型采用自适应结构相似性损失、多通道强度损失和多通道纹理损失对网络进行优化,增强结构一致性,平衡图像色彩和纹理信息的分布。实验结果表明,与现有方法相比,所提方法可有效地保留源图像的纹理、色彩和特征信息,融合效果更符合人类视觉感知。 展开更多
关键词 红外可见光图像 图像融合 扩散模型 生成模型 结构相似性损失
在线阅读 下载PDF
道路裂缝检测的可见光与红外图像融合技术
16
作者 赵思豪 王锋 +2 位作者 杨娟娟 庞阳 党建武 《红外技术》 北大核心 2025年第7期895-905,共11页
为了解决可见光与红外图像融合中存在小裂缝不易识别,伴随光照强度变弱造成纹理细节丢失和引入边缘伪影等常见问题,本文提出了一种基于多尺度特征提取的多路注意力生成对抗网络(Multiscale feature extraction-multiscale attention GAN... 为了解决可见光与红外图像融合中存在小裂缝不易识别,伴随光照强度变弱造成纹理细节丢失和引入边缘伪影等常见问题,本文提出了一种基于多尺度特征提取的多路注意力生成对抗网络(Multiscale feature extraction-multiscale attention GAN,M2GAN)的图像融合方法。首先,M2GAN提出一种多尺度特征提取模块,该模块采用配准后的可见光和红外图像,提取可见光与红外图像中不同尺度信息,并通过侧边连接使融合过程中的裂缝细节和语义信息同时被保留,使裂缝特征更加丰富。此外,还提出了多路注意力机制,将多尺度融合图像分别和红外源图像、可见光源图像拼接起来,构建红外强度路径和可见光梯度路径,以保存更多目标信息和背景信息。在自制数据集上,与多种主流图像融合算法的实验结果对比,6种评价指标结果显著提高,其中结构相似性、边缘保持度指标分别平均提高了10.66%和24.92%。M2GAN具有更好的视觉效果与结构相似度,在客观评价方面优于对比方法。 展开更多
关键词 可见光与红外图像 图像融合 道路裂缝检测 多尺度特征提取 注意力机制
在线阅读 下载PDF
面向复杂电力环境场景理解的可见光和红外图像特征级融合方法
17
作者 黄志鸿 杜瑞 张辉 《智能系统学报》 北大核心 2025年第3期631-640,共10页
随着电力系统自动化和智能化程度的不断提高,变电站和配电网设备的有效监测与故障诊断成为保证电网稳定运行的重要手段。针对传统单模态图像处理方法在复杂电力环境中面临的挑战,本文提出了一种基于可见光和红外图像特征级融合的场景理... 随着电力系统自动化和智能化程度的不断提高,变电站和配电网设备的有效监测与故障诊断成为保证电网稳定运行的重要手段。针对传统单模态图像处理方法在复杂电力环境中面临的挑战,本文提出了一种基于可见光和红外图像特征级融合的场景理解方法。通过深入分析可见光图像和红外图像的互补特性,设计了一个双分支的对称融合网络框架,有效结合了可见光图像的高分辨率纹理信息和红外图像的温度信息。此外,引入多尺度特征融合层和多尺度注意力解码器,以提高模型的分割精度和细节恢复能力。实验结果表明,该方法在变电站设备监测中取得了优异的性能,尤其是在处理光照不足和遮挡情况下的图像时,展现出了较好的鲁棒性。该研究不仅为复杂电力环境的监测提供了一种有效的技术手段,而且对于推动电力系统智能化管理具有重要的理论和实践意义。 展开更多
关键词 特征级融合 场景理解 电力系统监测 变电站设备 智能化电网 多模态融合 图像语义分割 红外可见光图像
在线阅读 下载PDF
基于多尺度空间注意力互补的红外与可见光图像融合
18
作者 张永兴 连博文 +2 位作者 顾乃庭 李方召 李杨 《光学精密工程》 北大核心 2025年第7期1152-1168,共17页
针对当前红外与可见光图像融合方法过度引入红外冗余信息导致复杂场景下无法平衡复杂场景信息,融合效果不佳的现状,提出基于多尺度空间注意力互补的红外和可见光图像融合方法,采用双分支卷积网络分别提取红外和可见光图像特征信息并进... 针对当前红外与可见光图像融合方法过度引入红外冗余信息导致复杂场景下无法平衡复杂场景信息,融合效果不佳的现状,提出基于多尺度空间注意力互补的红外和可见光图像融合方法,采用双分支卷积网络分别提取红外和可见光图像特征信息并进行差异互补,利用多尺度空间注意力互补处理后回归叠加至图像特征中,实现互补特征中途回归叠加的图像融合,有效平衡复杂场景信息。实验结果表明:相比于Densefuse,PIAFusion等主流融合方法,该方法在通用性较强的互信息(MI)方面分别提升了4.1%和4.3%,在视觉信息保真度(VIF)方面分别提升了5.0%和2.3%,有效保留了复杂场景下的目标特征信息并实现对冗余特征的有效抑制,具有良好的特征平衡能力,在复杂场景下目标检测和识别中具有潜在应用价值。 展开更多
关键词 图像融合 红外可见光图像 双分支卷积网络 差异互补 多尺度空间注意力 回归叠加
在线阅读 下载PDF
基于低光照增强的红外和可见光图像融合的井下人员识别
19
作者 南晶晶 潘红光 +2 位作者 蒋泽 张立斌 张会鹏 《工矿自动化》 北大核心 2025年第4期107-113,145,共8页
井下环境存在低光照,人员特征不明显。现有的基于深度学习的红外与可见光图像融合方法在弱光条件下,只使用红外信息来填补可见光图像光照退化造成的场景缺陷,导致在黑暗环境下可见光图像中丰富的场景信息无法在融合图像中表达出来;将图... 井下环境存在低光照,人员特征不明显。现有的基于深度学习的红外与可见光图像融合方法在弱光条件下,只使用红外信息来填补可见光图像光照退化造成的场景缺陷,导致在黑暗环境下可见光图像中丰富的场景信息无法在融合图像中表达出来;将图像增强和图像融合作为单独的任务来处理,导致融合结果较差。针对上述问题,提出了一种基于低光照增强的红外和可见光图像融合的井下人员识别模型。首先,将可见光和红外传感器图像进行灰度化、几何校正等预处理操作,然后,将处理后的图像传入低光照增强网络,在特征层面去除退化可见光图像的照度分量,最后,经过纹理-对比度增强网络实现特征级融合,从纹理和对比度等方面增强了整体的视觉感知。实验结果表明,所提模型的井下人员识别结果相比较可见光图像,准确率平均提高了8.2%,召回率提高了12.5%,mAP@0.5提高了8.3%;相比红外图像,准确率平均提高了2.1%,召回率提高了5.1%,mAP@0.5提高了4.1%;检测速度达31.2帧/s,解决了井下低光照场景下人员特征不明显所导致的错检、漏检等问题。 展开更多
关键词 井下人员识别 低光照增强 红外可见光图像融合 边缘纹理增强 对比度增强
在线阅读 下载PDF
MTFuse:基于Mamba和Transformer的红外与可见光图像融合网络
20
作者 丁政泽 聂仁灿 +2 位作者 李锦涛 苏华平 徐航 《计算机科学》 北大核心 2025年第8期188-194,共7页
红外与可见光图像融合旨在保留红外图像的热辐射信息和可见光图像的纹理细节,以表示成像场景并全面促进下游视觉任务。基于卷积神经网络的融合模型由于专注于局部卷积运算,在捕获全局图像特征方面遇到限制。基于Transformer的模型虽然... 红外与可见光图像融合旨在保留红外图像的热辐射信息和可见光图像的纹理细节,以表示成像场景并全面促进下游视觉任务。基于卷积神经网络的融合模型由于专注于局部卷积运算,在捕获全局图像特征方面遇到限制。基于Transformer的模型虽然在全局特征建模方面表现出色,但也面临着二次复杂性带来的计算挑战。选择性结构化状态空间模型(Mamba)在具有线性复杂性的远程依赖建模方面表现出了巨大的潜力,为解决上述问题提供了一条有希望的路径。为了高效建模图像远程依赖,设计了一个残差选择性结构化状态空间模块(RMB)提取全局特征。同时,为了对多模态图像之间的关系进行建模,设计了一个跨模态查询融合注意力模块(CQAM)用于特征的自适应融合。此外,设计了一个由两项组成的损失函数,包括梯度损失和亮度损失,旨在以无监督的方式训练所提出的模型。与大量其他先进的方法在融合质量的对比实验和消融实验上证明了所提出的方法的有效性。 展开更多
关键词 选择性结构化状态空间模型 TRANSFORMER 无监督学习 红外可见光图像融合
在线阅读 下载PDF
上一页 1 2 38 下一页 到第
使用帮助 返回顶部