基于稠密局部-全局特征融合的超高清多曝光图像融合方法

1

作者 贾修一 林乔万尼 +1 位作者 郑卓然 石争浩 《电子学报》 北大核心 2025年第1期238-247,共10页

随着超高清(Ultra-High-Definition,UHD)成像技术的应用,生成高质量的UHD图像通常需要融合多幅曝光水平不同的UHD图像.然而,目前基于深度学习的多曝光图像融合方法直接融合从不同曝光水平的图像中提取的特征图,未能充分利用不同曝光级... 随着超高清(Ultra-High-Definition,UHD)成像技术的应用,生成高质量的UHD图像通常需要融合多幅曝光水平不同的UHD图像.然而,目前基于深度学习的多曝光图像融合方法直接融合从不同曝光水平的图像中提取的特征图,未能充分利用不同曝光级别图像中的特征信息,而这些特征信息对于获得良好的多曝光融合结果至关重要.为解决这一问题,我们提出了一种新颖的UHD多曝光图像融合方法,该方法结合了图像的局部和长距离依赖特征,旨在挖掘不同曝光级别图像之间的依赖关系,提取出更高阶的语义和特征.进而,利用不同级别的短连接来聚合不同粒度的特征.最后,为了过滤带噪声的特征,我们还提出了带有门控机制的多层感知器来生成高质量的超高清图像.为了更好地展示实验结果,我们还针对多曝光融合任务建立了一个UHD图像数据集.实验结果表明,在单个显存24G的GPU上执行UHD多曝光图像融合任务时,我们的方法明显优于现有方法. 展开更多

关键词 超高清图像 多曝光图像融合 稠密特征融合 双分支 实时处理

在线阅读 下载PDF 职称材料

联合多曝光融合和图像去模糊的深度网络

2

作者 张梅 赵康威 朱金辉 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第11期4219-4228,共10页

多曝光图像融合可提高图像的动态范围,从而获取高质量的图像。对于在像自动驾驶等快速运动场景中获得的模糊的长曝光图像,利用通用的图像融合方法将其直接与低曝光图像融合得到的图像质量并不高。目前暂缺乏对带有运动模糊的长曝光和短... 多曝光图像融合可提高图像的动态范围,从而获取高质量的图像。对于在像自动驾驶等快速运动场景中获得的模糊的长曝光图像,利用通用的图像融合方法将其直接与低曝光图像融合得到的图像质量并不高。目前暂缺乏对带有运动模糊的长曝光和短曝光图像的端到端融合方法。基于此,该文提出一种联合多曝光融合和图像去模糊的深度网络(DF-Net)端到端地解决带有运动模糊的长短曝光图像融合问题。该方法提出一种结合小波变换的残差模块用于构建编码器和解码器,其中设计单个编码器对短曝光图像进行特征提取,构建基于编码器和解码器的多级结构对带有模糊的长曝光图像进行特征提取,设计残差均值激励融合模块进行长短曝光特征的融合,最后通过解码器重建图像。由于缺少基准数据集,创建了基于数据集SICE的带有运动模糊的多曝光融合数据集,用于模型的训练与测试。最后,从定性和定量的角度将所设计的模型和方法和其他先进的图像去模糊和多曝光融合的分步优化方法进行了实验对比,验证了该文的模型和方法对带有运动模糊的多曝光图像融合的优越性。并在移动车辆上采集到的多曝光数据组上进行验证,结果显示了所提方法解决实际问题的有效性。 展开更多

关键词 多曝光图像融合 图像去模糊 小波变换 特征融合

在线阅读 下载PDF 职称材料

动态场景下深度自监督多曝光图像融合方法 被引量：2

3

作者 张雨童 邓欣 徐迈 《电子学报》 EI CAS CSCD 北大核心 2024年第1期264-273,共10页

近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难... 近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括:设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升. 展开更多

关键词 高动态范围成像 多曝光图像融合 深度学习 自监督学习

在线阅读 下载PDF 职称材料

多耦合反馈网络的图像融合和超分辨率方法

4

作者 王蓉 端木春江 《计算机工程与应用》 CSCD 北大核心 2024年第5期210-220,共11页

人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制,高动态范围的图像往往通过低动态范围图像的多曝光融合(MEF)而获得,高分辨率图像往往通过低分辨率图像的超分辨率(SR)而获得。MEF和SR通常被作为两个独... 人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制,高动态范围的图像往往通过低动态范围图像的多曝光融合(MEF)而获得,高分辨率图像往往通过低分辨率图像的超分辨率(SR)而获得。MEF和SR通常被作为两个独立的内容进行研究。为了解决当前模型不能同时实现高动态范围和高分辨率的问题,通过对现有方法进行研究,提出了一种基于多耦合反馈网络MCF-Net及其方法。模型包括:N个子网和输出模块;在方法中,将N张下采样图片I_(lr)^(i),I_(lr)^(m),I_(lr)^(-i)分别输入至N个子网,提取的低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i);根据低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i)提取对应图像的超分辨率特征G_(0)^(i),G_(0)^(m),G_(0)^(-i);得到融合高分辨率特征G_(t)^(i),G_(t)^(m),G_(t)^(-i)并输入至下个MCFB中,直至第T个MCFB得到融合高分辨率特征G_(T)^(i),G_(T)^(m),G_(T)^(-i);获取对应的融合超分辨率图像I_(t)^(i),I_(t)^(m),I_(t)^(-i);融合N个子网中第T个重建模块REC输出的I_(T)^(i),I_(T)^(m),I_(T)^(-i)得到高动态范围、超分辨率图像I_(out)。在SICE数据集上实验并验证了性能,与现有的33种方法进行对比,结果显示以下各评价指标都有明显的提高,其中结构相似性(SSIM)达到0.833 2,峰值信噪比(PSNR)达到22.07 dB,多曝光融合相似性(MEF-SSIM)达到0.937 8。 展开更多

关键词 图像多曝光融合 图像超分辨率 卷积神经网络 计算机视觉 深度学习

在线阅读 下载PDF 职称材料

基于质量度量与颜色校正的多曝光图像融合算法 被引量：18

5

作者 杜永生 黄传波 《电子测量与仪器学报》 CSCD 北大核心 2019年第1期90-98,共9页

针对当前多曝光图像融合过程的图像质量属性选择不当,易导致颜色失真与丢失细节等问题,设计了一种质量度量耦合颜色校正的多曝光图像融合算法。首先,选择3种最显著的图像质量属性(对比度、饱和度和亮度)作为度量方式;然后,利用线性组合... 针对当前多曝光图像融合过程的图像质量属性选择不当,易导致颜色失真与丢失细节等问题,设计了一种质量度量耦合颜色校正的多曝光图像融合算法。首先,选择3种最显著的图像质量属性(对比度、饱和度和亮度)作为度量方式;然后,利用线性组合将得到的3种质量属性进行成加权组合,并采用幂函数来控制每个属性的影响,将较低的权重值赋予曝光不足和曝光过度的像素,消除具有视觉效果不佳的像素,从而有效保留正常的曝光像素及其明亮的颜色与细节;随后,将不同曝光图像加权组合的特征进行Laplacian金字塔分解,经过归一化权重映射后,对其进行不同系数的多分尺度融合,完成多曝光图像融合。为了避免颜色失真与细节丢失,采用基于局部饱和度的颜色校正方法来改善图像质量。实验数据表明,与当前多曝光图像融合方案相比,所提算法具有更高的融合视觉质量,可以更好地保持图像细节和校正曝光融合图像的颜色。 展开更多

关键词 多曝光图像融合 质量度量 颜色校正 图像质量指数 局部饱和度 归一化权重映射

在线阅读 下载PDF 职称材料

一种多曝光融合图像质量评价方法 被引量：2

6

作者 王丹 郁梅 +2 位作者 白永强 马华林 姜浩 《激光杂志》 北大核心 2019年第1期92-97,共6页

多曝光融合(Multi-exposure Fusion,MEF)可将同一场景拍摄的几幅不同曝光图像融合成细节更丰富的图像。针对不同融合算法得到的MEF图像可能存在纹理丢失、结构混乱、亮度及颜色失真等现象,提出了一种基于非下采样剪切波变换(Non-subsamp... 多曝光融合(Multi-exposure Fusion,MEF)可将同一场景拍摄的几幅不同曝光图像融合成细节更丰富的图像。针对不同融合算法得到的MEF图像可能存在纹理丢失、结构混乱、亮度及颜色失真等现象,提出了一种基于非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)的多曝光融合图像质量评价方法。所提出算法先利用非下采样剪切波变换能较好地反映图像的纹理信息,获得较稀疏的图像表示,在NSST域对多曝光图像源序列和融合图像进行纹理相似度度量;其次,考虑融合图像可能会出现亮度和色度失真,提取其亮度和色度特征用于质量评价;再利用梯度特征来描述人类视觉较为敏感的边缘信息,并进行结构相似度度量。最后,采用随机森林的方法对以上4类特征进行训练,建立质量评价模型。实验结果表明,所提出方法的Pearson线性相关系数约为0. 902,Spearman秩相关系数约为0. 874,优于现有的MEF图像质量评价方法,与人眼视觉感知的一致性更好。 展开更多

关键词 多曝光图像融合 质量评价 纹理相似性 结构相似性 非下采样剪切波变换

在线阅读 下载PDF 职称材料

基于多曝光图像融合的大动态范围散射信号获取 被引量：1

7

作者 魏晨 王红军 +4 位作者 王大森 田爱玲 刘丙才 朱学亮 刘卫国 《光子学报》 EI CAS CSCD 北大核心 2021年第11期186-194,共9页

针对光散射法中散射信号的动态范围小影响光学元件表面粗糙度测量精度的问题,提出将图像融合技术应用到大动态范围散射信号的获取中。首先,采集光学元件同一位置处不同曝光时间的散射图像;然后,对其进行小波变换,分解后的低频分量采用... 针对光散射法中散射信号的动态范围小影响光学元件表面粗糙度测量精度的问题,提出将图像融合技术应用到大动态范围散射信号的获取中。首先,采集光学元件同一位置处不同曝光时间的散射图像;然后,对其进行小波变换,分解后的低频分量采用散射信号最强原则、高频分量采用区域特性测量原则进行融合,经小波逆变换完成多曝光散射图像的融合;最后,将获取的大动态范围散射信号进行处理得到元件的表面粗糙度值。结果表明:融合后的散射信号与未经融合的散射信号相比,动态范围增加了3个数量级;融合后的散射信号计算得到的光学元件表面粗糙度值与白光干涉仪的测量结果一致,证明了该融合方法可用于大动态范围散射信号获取和光学元件的表面粗糙度测量。 展开更多

关键词 光散射法 散射信号 多曝光散射图像融合 光学元件 表面粗糙度 小波变换 动态范围

在线阅读 下载PDF 职称材料

基于投影栅相位法和多曝光图像融合技术的强反射表面轮廓检测 被引量：9

8

作者 雷经发 陆宗胜 +2 位作者 李永玲 张淼 赵汝海 《光学精密工程》 EI CAS CSCD 北大核心 2022年第18期2195-2204,共10页

光栅投影三维测量技术因其非接触式、分辨率高和精度高等优点,已成为应用最为广泛的三维测量技术之一,但对于具有强反射表面的被测物,所采集的图像会出现局部过明或过暗的现象,导致测量的点云缺失,影响测量精度。为了实现强反射表面物... 光栅投影三维测量技术因其非接触式、分辨率高和精度高等优点,已成为应用最为广泛的三维测量技术之一,但对于具有强反射表面的被测物,所采集的图像会出现局部过明或过暗的现象,导致测量的点云缺失,影响测量精度。为了实现强反射表面物体三维轮廓的精确测量,提出一种改进的多曝光图像融合技术。利用白光投射下不同曝光时长的图像制作掩模,分别与光栅投射下相应曝光时长的条纹图像相乘,将所得图像进行线性变换后叠加,再对其灰度值归一化后进行伽马变换和灰度值还原,最后利用所得条纹图像解相并计算被测物体表面三维点云数据。实验表明,该方法在一定程度上克服了因物体局部高光而导致的点云缺失,对于法兰片、标准块和U型卡三种具有强反射表面的被测物,分别能计算出99.8%、99.1%和99.3%的点云数据,实现了强反射金属表面较为完整的三维轮廓检测。 展开更多

关键词 强反射表面 三维轮廓检测 投影栅相位法 多曝光图像融合技术

在线阅读 下载PDF 职称材料

基于场景局部特征的多曝光图像融合 被引量：3

9

作者 李卫中 《计算机应用》 CSCD 北大核心 2020年第8期2365-2371,共7页

针对现有多曝光图像融合算法得到的图像质量不高以及算法效率低的问题,提出了基于场景局部特征的多曝光图像融合算法。首先,将不同曝光量的图像序列划分为规则的图像块,并且相邻的图像块有一定像素的重叠区域。对于静态场景,根据图像的... 针对现有多曝光图像融合算法得到的图像质量不高以及算法效率低的问题,提出了基于场景局部特征的多曝光图像融合算法。首先,将不同曝光量的图像序列划分为规则的图像块,并且相邻的图像块有一定像素的重叠区域。对于静态场景,根据图像的局部方差、局部可视性以及局部显著性特征这三个指标计算每一个图像块的权重值;对于动态场景,除了应用前面所述的三个局部特征指标外,还需要将局部相似性指标用于动态场景融合过程中以去除运动物体导致的鬼影现象。其次,利用加权求和的方法得到最佳的图像块。最后,将输出的图像块进行融合,并且将图像块重叠区域的像素求平均,从而得到最终的融合结果。选取12组不同自然场景的曝光序列,从主观和客观两方面与现有的基于像素和基于特征的7种算法进行了分析和比较。实验结果表明:无论在静态场景还是动态场景的测试中,所提算法都保留了更多的场景信息,获得了令人满意的视觉效果,同时该算法还保持了较高的计算效率。 展开更多

关键词 多曝光图像融合 局部方差 局部可视性 局部相似性 鬼影

在线阅读 下载PDF 职称材料

耦合反馈网络用于极端图像融合和超分辨率

10

作者 陶恒芝 端木春江 叶涛 《计算机工程与设计》 2025年第9期2457-2464,共8页

针对传统的超分辨率图像算法无法处理工业领域中极度曝光的问题,提出一种图像超分辨率和图像多曝光融合算法。在网络耦合阶段引入稠密连接的方法,通过上下采样的方式最大限度保留住极度曝光图像的原有特征,在超分阶段引入多种注意力机... 针对传统的超分辨率图像算法无法处理工业领域中极度曝光的问题,提出一种图像超分辨率和图像多曝光融合算法。在网络耦合阶段引入稠密连接的方法,通过上下采样的方式最大限度保留住极度曝光图像的原有特征,在超分阶段引入多种注意力机制进行特征提取;通过叠加不同曝光程度的超分图像得到融合后兼具高分辨率和高动态范围的图像。基于自制工程数据集实验,其结果表明,该算法在多种指标下均优于比较模型。 展开更多

关键词 图像超分辨率 图像多曝光融合 稠密连接 极度曝光 注意力机制 图像处理 深度学习

在线阅读 下载PDF 职称材料

基于深度引导与自学习的高动态成像算法

11

作者 张俊超 杨飞帆 +3 位作者 时伟 陈溅来 赵党军 杨德贵 《电子与信息学报》 EI CSCD 北大核心 2023年第1期291-299,共9页

多曝光图像融合是将同一场景不同曝光度的图像进行融合,是当前高动态场景成像的主流方法。为了获得更自然的融合效果,该文提出基于深度引导与自学习的多曝光图像融合网络(MEF-Net)。该网络是以端到端的方式融合任意数量的不同曝光度图像... 多曝光图像融合是将同一场景不同曝光度的图像进行融合,是当前高动态场景成像的主流方法。为了获得更自然的融合效果,该文提出基于深度引导与自学习的多曝光图像融合网络(MEF-Net)。该网络是以端到端的方式融合任意数量的不同曝光度图像,无监督地输出最优的融合结果。在损失函数方面,通过引入强度保真约束项和加权的多曝光图像融合结构相似度(MEF-SSIM),提升融合效果。此外,针对两幅极度曝光情况下的图像融合,该文采用自学习的方式,基于预训练的模型进行参数微调与优化,减弱光晕现象。基于大量测试数据,实验结果表明,该文所提算法在定量指标和视觉融合效果方面均优于现有主流算法。 展开更多

关键词 多曝光图像融合 高动态成像 强度保真约束 自学习

在线阅读 下载PDF 职称材料