基于反馈生成对抗网络的单图像超分辨率重建 被引量：1

1

作者 王永强 李雪 +1 位作者 范迎迎 钱育蓉 《计算机工程与设计》 北大核心 2022年第7期2022-2030,共9页

针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈... 针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈流的同时,自适应地选择有用的特征信息;利用相对平均最小二乘GAN(RaLSGAN)损失引导模型获得更真实的图像。实验结果表明,与现有基于GAN的超分辨方法相比,该方法重建出的图像纹理更加逼真自然。 展开更多

关键词 单图像超分辨率重建 反馈机制 生成对抗网络 注意力机制 深度学习

在线阅读 下载PDF 职称材料

双回归网络的单图像超分辨率重建 被引量：1

2

作者 张永 吕庚 《计算机工程与应用》 CSCD 北大核心 2022年第18期277-283,共7页

现有基于卷积神经网络的单图像超分辨率模型存在三个限制。理论上存在无限的HR图像,可以下采样到相同的LR图像,可能的函数空间非常大。因为现实世界潜在的下采样方法是未知的,使用特定方法配对的数据训练的模型在实际应用中泛化能力差,... 现有基于卷积神经网络的单图像超分辨率模型存在三个限制。理论上存在无限的HR图像,可以下采样到相同的LR图像,可能的函数空间非常大。因为现实世界潜在的下采样方法是未知的,使用特定方法配对的数据训练的模型在实际应用中泛化能力差,产生适应性问题。忽视残差分支的高频层次特征。针对上述问题,提出双重回归方案。除了学习从LR到HR图像的原始回归映射之外,额外学习一个对偶回归映射来估计下采样核并重建LR图像,形成一个闭环提供额外的监督,并在残差结构上引入了傅里叶变换,增强模型对高频信息的表达能力。相比其他先进模型以更少的参数重建HR图像,且拥有丰富的高频纹理细节。 展开更多

关键词 单图像超分辨率重建 深度学习 卷积神经网络

在线阅读 下载PDF 职称材料

基于稀疏贝叶斯估计的单图像超分辨率算法

3

作者 袁桂霞 周先春 《计算机应用研究》 CSCD 北大核心 2019年第2期626-629,共4页

针对现有超分辨率方法对不同低分辨率图像的超分辨率效果差异较大的问题,提出了一种基于稀疏贝叶斯估计的单图像超分辨率方法。该方法将单图像超分辨率问题看做是回归问题,采用Kronecker脉冲函数作为回归基函数,综合利用图像的局部信息... 针对现有超分辨率方法对不同低分辨率图像的超分辨率效果差异较大的问题,提出了一种基于稀疏贝叶斯估计的单图像超分辨率方法。该方法将单图像超分辨率问题看做是回归问题,采用Kronecker脉冲函数作为回归基函数,综合利用图像的局部信息和全局信息寻找特定预测的最优稀疏解决方案,采用贝叶斯方法估计权重,据此重构超分辨率图像。实验结果表明,采用该方法对14幅测试图像运行单图像超分辨率算法,得到的平均峰值信噪比高、方差小、耗时少,证实了该方法的超分辨率效果好、适应性强,且运算效率高。 展开更多

关键词 单图像超分辨率 超分辨率 贝叶斯估计 回归 稀疏表示

在线阅读 下载PDF 职称材料

基于深度学习的单图像超分辨率重建研究综述 被引量：24

4

作者 南方哲 钱育蓉 +1 位作者 行艳妮 赵京霞 《计算机应用研究》 CSCD 北大核心 2020年第2期321-326,共6页

为深入了解基于深度学习的单图像超分辨率重建(SISR)的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模... 为深入了解基于深度学习的单图像超分辨率重建(SISR)的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模型的性能,其目的在于从本质上了解基于深度学习的单图像超分辨率重建模型的优势;对单图像超分辨率重建的关键问题进行了总结,并对未来的发展趋势进行了展望。 展开更多

关键词 单图像超分辨率重建 深度学习 密集卷积网络 生成式对抗网络

在线阅读 下载PDF 职称材料

基于多窗口残差网络的单图像超分辨率重建 被引量：4

5

作者 肖雅敏 张家晨 冯铁 《计算机工程》 CAS CSCD 北大核心 2021年第2期293-299,306,共8页

基于卷积神经网络的单图像超分辨率模型网络结构过深,导致高频信息丢失以及模型体积庞大等问题。提出一种由多个残差模块构成的多窗口残差网络优化模型,通过使用多个不同尺寸的窗口对同一特征图进行提取,获取更丰富的高频与低频信息,并... 基于卷积神经网络的单图像超分辨率模型网络结构过深,导致高频信息丢失以及模型体积庞大等问题。提出一种由多个残差模块构成的多窗口残差网络优化模型,通过使用多个不同尺寸的窗口对同一特征图进行提取,获取更丰富的高频与低频信息,并过滤出深层网络的所需特征。残差模块中较大尺寸的窗口采用较小尺寸的滤波器和多层映射层叠加组成,可在减少参数总量的同时增强网络的非线性表达能力。实验结果表明,与A+、SRCNN、ESPCN等模型相比,该模型可有效利用原始图像信息生成细节更清晰的超分辨率图像,且在主观视觉效果与客观评价指标上均有所提升。 展开更多

关键词 单图像超分辨率重建 多窗口残差网络 卷积神经网络 深度学习 特征融合

在线阅读 下载PDF 职称材料

使用VGG能量损失的单图像超分辨率重建 被引量：9

6

作者 丁玲 丁世飞 +1 位作者 张健 张子晨 《软件学报》 EI CSCD 北大核心 2021年第11期3659-3668,共10页

单幅图像的超分辨率重建(single image super-resolution,简称SR)是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络(generative adversarial network,简称GAN)的对抗损... 单幅图像的超分辨率重建(single image super-resolution,简称SR)是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络(generative adversarial network,简称GAN)的对抗损失.但是,基于传统的GAN的超分辨率重建模型(SRGAN)在判别器接收高分辨率图像作为输入时,输出判别信号不稳定.为了缓解这个问题,在SRGAN以及常用的VGG重构损失框架上,设计了一个稳定的基于能量的辅助对抗损失,称为VGG能量损失.该能量损失使用重构损失中的VGG编码部分,针对VGG编码设计相应的解码器,构建一个U-Net自编码结构VGG-UAE,利用VGG-UAE的重构损失表示能量,并使用该能量函数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE使生成器生成的高分辨率样本追踪真实数据的能量流.实验部分验证了使用VGG能量损失将比使用传统的GAN损失可以生成更有效的高分辨率图像. 展开更多

关键词 单图像超分辨率重建 生成对抗网络 能量函数 自动编码器

在线阅读 下载PDF 职称材料

基于ResNeXt和WGAN网络的单图像超分辨率重建 被引量：3

7

作者 曾庆亮 南方哲 +1 位作者 尚迪雅 孙华 《计算机应用研究》 CSCD 北大核心 2020年第12期3815-3819,共5页

为解决现有基于生成对抗网络的单图像超分辨率重建模型SRGAN网络训练不稳定、学习速率慢等问题,提出了一种基于ResNeXt和WGAN的单图像超分辨率重建模型Res_SRGAN。该模型参考ResNeXt网络结构构造生成器,降低了生成器的复杂度,仅为SRGAN... 为解决现有基于生成对抗网络的单图像超分辨率重建模型SRGAN网络训练不稳定、学习速率慢等问题,提出了一种基于ResNeXt和WGAN的单图像超分辨率重建模型Res_SRGAN。该模型参考ResNeXt网络结构构造生成器,降低了生成器的复杂度,仅为SRGAN的1/8;通过WGAN来构造判别器解决了SRGAN模型不稳定的问题;实验结果表明,在四个公开数据集上所提模型相较于现有单图像超分辨率重建模型在主客观评价中均取得了更加优越的性能。 展开更多

关键词 单图像超分辨率重建 ResNeXt WGAN 深度学习

在线阅读 下载PDF 职称材料

基于单图像超分辨率的约束随机森林算法 被引量：2

8

作者 刘晙 《计算机工程与设计》 北大核心 2017年第4期970-975,共6页

为解决现有单图像超分辨率算法对不同类型图像鲁棒性不强的问题,提出一种基于多模糊核约束的随机森林算法。结合多模糊核扩展随机森林训练阶段的输入特征向量,由低分辨率图像块和对应的模糊核组合生成输入特征变量;将多模糊核引入到决... 为解决现有单图像超分辨率算法对不同类型图像鲁棒性不强的问题,提出一种基于多模糊核约束的随机森林算法。结合多模糊核扩展随机森林训练阶段的输入特征向量,由低分辨率图像块和对应的模糊核组合生成输入特征变量;将多模糊核引入到决策树构建的质量测度函数中,用于约束决策树构建时的结点划分,使生成的叶结点更纯;采用多模糊核对叶结点的回归模型进行约束,降低决策树的预测误差。仿真结果表明,与主流的基于学习的单图像超分辨率算法相比,该算法对不同图像的鲁棒性更强,采用该方法重建的超分辨率图像的峰值信噪比更高。 展开更多

关键词 随机森林 单图像超分辨率 决策树 回归 机器学习 模糊核

在线阅读 下载PDF 职称材料

基于几何约束和结构注意力机制的图像超分辨率

9

作者 辜翱 方艳红 《计算机科学与探索》 北大核心 2025年第7期1868-1877,共10页

针对将超分辨率技术应用于古建筑物图像修复时,如何在更大尺度的重建时更多地保留原始图像的几何结构问题,提出一种基于几何约束与结构注意力增强的超分辨率图像重建方法。该方法在GeoSR模型的基础上设计了多尺度特征融合ghost卷积模块... 针对将超分辨率技术应用于古建筑物图像修复时,如何在更大尺度的重建时更多地保留原始图像的几何结构问题,提出一种基于几何约束与结构注意力增强的超分辨率图像重建方法。该方法在GeoSR模型的基础上设计了多尺度特征融合ghost卷积模块,在不显著增加模型参数的同时,提升模型性能;同时引入结构注意力增强模块,在上采样时自适应地调整不同通道和空间位置的权重,使模型能够更加关注图像中的结构信息,从而更有效地捕捉和恢复图像细节;利用最小化混合均方误差和几何对齐误差构成损失函数,在训练中有效地恢复了细节和几何规律。在Cityscape、DIV2K等数据集上进行了详尽的实验,实验结果表明利用多尺度的ghost卷积模块能够在减小模型参数同时增强模型的性能,同时结构注意力增强模块的应用使模型对几何结构的重建更加出色。改进后的模型只有原始GeoSR模型参数的80.9%,但超分辨率重建效果对比目前的模型效果更好,特别是在4倍和8倍的重建尺度下,该模型效果提升更明显。 展开更多

关键词 单图像的超分辨率 几何约束 多尺度特征 ghost卷积 结构注意力

在线阅读 下载PDF 职称材料

区域感知实时人像超分辨率重建网络

10

作者 龚柯存 周梦琳 唐东明 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期588-595,共8页

在人像超分辨率重建领域,传统方法通常将整幅图像进行统一处理,导致效率低下。为降低模型的推理时延,提出了一种实时超分辨率重建模型RASR。该模型利用门控单元处理低分辨率图像,识别出人像边缘区域;采用分区重建策略,使用不同尺寸的子... 在人像超分辨率重建领域,传统方法通常将整幅图像进行统一处理,导致效率低下。为降低模型的推理时延,提出了一种实时超分辨率重建模型RASR。该模型利用门控单元处理低分辨率图像,识别出人像边缘区域;采用分区重建策略,使用不同尺寸的子模型分别针对包含或不包含人像边缘的区域进行重建。实验结果表明:与现有方法相比,RASR模型在4倍上采样重建场景下的推理时延降低了88%,能够更有效地重建高分辨率人像图像。 展开更多

关键词 区域感知 单图像超分辨率 门控单元 通道划分块 深度学习

在线阅读 下载PDF 职称材料

基于特征融合注意网络的图像超分辨率重建 被引量：4

11

作者 周登文 马路遥 +1 位作者 田金月 孙秀秀 《自动化学报》 EI CAS CSCD 北大核心 2022年第9期2233-2241,共9页

近年来,基于深度卷积神经网络的单图像超分辨率重建,取得了显著的进展,但是,仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题.我们提出了基于特征融合注意网络的单图像超分辨率方法,网络模型主要包括特征融合子网... 近年来,基于深度卷积神经网络的单图像超分辨率重建,取得了显著的进展,但是,仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题.我们提出了基于特征融合注意网络的单图像超分辨率方法,网络模型主要包括特征融合子网络和特征注意子网络.特征融合子网络可以更好地融合不同深度的特征信息,以及增加跨通道的学习能力;特征注意子网络则着重关注高频信息,以增强边缘和纹理.实验结果表明:无论是主观视觉效果,还是客观度量,我们方法的超分辨率性能明显优于其他代表性的方法. 展开更多

关键词 单图像超分辨率 卷积神经网络 特征融合 注意网络

在线阅读 下载PDF 职称材料

功能型复合深度网络的图像超分辨率重建 被引量：4

12

作者 唐家军 刘辉 胡雪影 《计算机科学与探索》 CSCD 北大核心 2020年第8期1368-1379,共12页

针对现有单图像超分辨率重建时主要采用的简单链式堆叠的单一网络存在层间联系弱、网络关注点单一以及分层特征不能充分利用等问题,提出了一种复合的深度神经网络用于提升图像超分辨重建性能。该方法首先使用特征提取层提取低分辨率图... 针对现有单图像超分辨率重建时主要采用的简单链式堆叠的单一网络存在层间联系弱、网络关注点单一以及分层特征不能充分利用等问题,提出了一种复合的深度神经网络用于提升图像超分辨重建性能。该方法首先使用特征提取层提取低分辨率图像的初始特征;再将初始特征分别送入两个子网络,一个子网络负责图像细节的提取与运算,另一子网络负责图像噪声降解与消除;然后将两个子网络输出的深层次抽象特征与初始特征相结合,最后通过重建层获得超分辨率图像。以峰值信噪比(PSNR)与结构相似性(SSIM)为评价指标,在Set14测试集上使用放大因子3进行实验,将复合网络与算法Bicubic、SelfEx、SRCNN、VDSR和RED等进行对比,实验结果发现,PSNR分别提高了2.27 dB、0.66 dB、0.54 d B、0.05 dB、0.21 dB,而SSIM则分别提高了6.08、1.54、1.41、0.36、0.09个百分点。 展开更多

关键词 单图像超分辨率重建 卷积神经网络(CNN) 复合网络 子网络 特征结合

在线阅读 下载PDF 职称材料

基于混合尺度非局部注意力的纹理图像超分辨率

13

作者 姚鹏飞 魏育坤 +1 位作者 路昊 王素琴 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2023年第10期1479-1488,共10页

相较于一般图像,纹理图像细节特征尺度小、密度大,导致低分辨率下会丢失更多高频信息,影响超分辨率重建的效果.基于此,提出一种利用混合尺度非局部注意力的纹理图像超分辨率方法.首先,在跨尺度非局部注意力的基础上提出等尺度非局部注意... 相较于一般图像,纹理图像细节特征尺度小、密度大,导致低分辨率下会丢失更多高频信息,影响超分辨率重建的效果.基于此,提出一种利用混合尺度非局部注意力的纹理图像超分辨率方法.首先,在跨尺度非局部注意力的基础上提出等尺度非局部注意力,用于在整幅图像中挖掘等尺度相似特征块的高频信息,为解决2种注意力并行部署带来的计算操作与参数量较多的问题,设计参数共享的方法,将2种注意力合并为混合尺度非局部注意力(MSNLA);其次,通过通道投影的方式将MSNLA生成的不同尺度的相似特征与输入特征图融合;最后,利用非局部特征融合重建的方法将MSNLA提取到的特征组合后进行超分辨率重建.实验结果表明,在DTD数据集上,该方法相较于CSNLN算法的PSNR提高了0.16 dB,模型参数量减少了约10.3%,并且重建图像取得了更好的视觉效果. 展开更多

关键词 单图像超分辨率 纹理图像 注意力机制 非局部注意力

在线阅读 下载PDF 职称材料

高斯隶属度优化的超分辨率随机森林学习算法 被引量：2

14

作者 周文谊 王吉源 《计算机工程与应用》 CSCD 北大核心 2016年第23期208-212,共5页

随机森林学习算法是一种有效的单图像超分辨率方法,然而其决策函数是确定的二值函数,这对某些图像块的确定性划分并不是最优的选择。为提升单图像超分辨率性能,采用高斯隶属度函数构建随机森林各决策节点的决策函数,将决策函数的输出值... 随机森林学习算法是一种有效的单图像超分辨率方法,然而其决策函数是确定的二值函数,这对某些图像块的确定性划分并不是最优的选择。为提升单图像超分辨率性能,采用高斯隶属度函数构建随机森林各决策节点的决策函数,将决策函数的输出值由0和1的确定值转换到0-1之间的概率值,并在叶节点上依据数据划分路径上各决策节点概率的乘积进行预测,依据最小经验冒险准则学习决策参数,使随机森林能更好学习不同的样本数据。实验结果表明,与随机森林学习等目前主流单图像超分辨率方法相比,该方法可以提升超分辨率图像的峰值信噪比,同时运算效率与传统随机森林学习算法相当。 展开更多

关键词 随机森林学习 单图像超分辨率 决策函数 高斯隶属度函数 经验冒险

在线阅读 下载PDF 职称材料

基于位置约束的参考图引导的遥感影像超分辨率网络

15

作者 杨敬钰 杨帆 岳焕景 《天津大学学报（自然科学与工程技术版）》 EI CAS CSCD 北大核心 2023年第4期372-380,共9页

在遥感对地观测领域中,往往需要对生态或地质环境进行长时间跨度的监测.然而,仅通过卫星拍摄的高分辨率影像来实现在长时间跨度范围内对同一位置区域的覆盖是较为困难的.因此,之前的研究多采用单图像超分辨率算法来对低分辨率影像进行重... 在遥感对地观测领域中,往往需要对生态或地质环境进行长时间跨度的监测.然而,仅通过卫星拍摄的高分辨率影像来实现在长时间跨度范围内对同一位置区域的覆盖是较为困难的.因此,之前的研究多采用单图像超分辨率算法来对低分辨率影像进行重建.但单张低分辨率影像中的信息是有限的,所以该类算法的重建结果往往较为平滑和模糊.实际上,对于同一位置区域而言,通常可以获取到来自不同卫星在不同时间段拍摄的多幅分辨率不同的遥感影像.其中的高分辨率影像可以作为低分辨输入在重建过程中的参考影像.因此,提出了一种基于位置约束的参考图引导的遥感影像超分辨率网络.该网络首先通过一个基于位置编码的纹理转换模块来实现参考图像与低分辨率图像之间的相似特征块匹配.同时引入位置约束,即根据低分辨率输入中邻近元素所对应的参考相似块的聚合度来对转换后的参考图像进行编码,从而提高匹配的准确度.同时,还提出了一种基于通道注意力机制的多尺度特征自适应融合模块,该模块有效提高了网络在进行跨尺度特征融合时的特征表达能力,进一步提高了网络的重建性能.实验结果表明,相较于其他新近的超分辨率方法,该网络在4×和8×超分辨率任务上均表现出了更为优越的重建性能. 展开更多

关键词 单图像超分辨率 位置编码 通道注意力 遥感影像

在线阅读 下载PDF 职称材料