针对多种放大倍数的人脸超分辨率重建问题,提出一种基于极深卷积神经网络的人脸超分辨率重建方法,并通过实验发现增加网络深度能够有效提升人脸重建的精度。首先,设计一个包含20个卷积层的网络从低分辨率图片和高分辨率图片之间学习一...针对多种放大倍数的人脸超分辨率重建问题,提出一种基于极深卷积神经网络的人脸超分辨率重建方法,并通过实验发现增加网络深度能够有效提升人脸重建的精度。首先,设计一个包含20个卷积层的网络从低分辨率图片和高分辨率图片之间学习一种端到端的映射关系,并通过在网络结构中将多个小的滤波器进行多次串联以扩大提取纹理信息的范围。其次,引入了残差学习的方法来解决随着深度的提升细节信息丢失的问题。另外,将不同放大因子的低分辨率人脸图片融合到一个训练集中训练,使得该卷积网络能够解决不同放大因子的人脸超分辨率重建问题。在CASPEAL测试集上的结果显示,该极深卷积神经网络的方法比基于双三次插值的人脸重建方法在峰值信噪比(PSNR)和结构相似度上有2.7 d B和2%的提升,和SRCNN的方法比较也有较大的提升,在精度和视觉改善方面都有较大提升。这显示了更深的网络结构能够在重建中取得更好的结果。展开更多
图像超分辨率重建作为一个典型的非适定问题一直受到重视,尽管近年来出现了许多行之有效的卷积神经网络超分辨率重建模型,但如何全面挖掘图像先验信息,用以提高重建图像的细节清晰度仍有待深入研究.本文提出一种基于非抽取Wavelet变换...图像超分辨率重建作为一个典型的非适定问题一直受到重视,尽管近年来出现了许多行之有效的卷积神经网络超分辨率重建模型,但如何全面挖掘图像先验信息,用以提高重建图像的细节清晰度仍有待深入研究.本文提出一种基于非抽取Wavelet变换的边缘学习深度残差网络单幅图像超分辨重建模型NDW-EDRN(Non-Decimated Wavelet Edge learning using Deep Residual Networks),在图像经非抽取Wavelet变换后获得多冗余信息、平滑及梯度值较小的低频区域和边缘及梯度值较大的高频区域的基础上,将整体网络框架设计为采用不同结构的CNN(Convolutional Neural Networks)模型来对低频子带与高频子带分别进行学习的策略:对低频子带采用稠密跳跃连接的方式整体性学习低频子带间的映射关系;对高频子带采用一种新型的U-net模型,将图像退化过程中所丢失的边缘作为网络的期望输出,通过基于块的跳跃连接来使网络更精细地学习缺失性边缘,从而更加充分、有效地获取图像在退化过程中所丢失的边缘细节信息.大量实验结果表明,该网络模型能够有效提高重建图像的质量,特别在恢复低分辨率图像的边缘信息方面具有一定的优势,在一定程度上弥补了传统CNN网络模型捕捉图像细节信息的不足.展开更多
针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息...针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比(PSNR)及结构相似性(SSIM)均值结果较基于卷积神经网络的图像超分辨率(SRCNN)取得的结果分别提升了0.57 d B和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建(ISCNN)取得的结果分别提升了0.45 d B和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率(VDSR)的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。展开更多
文摘针对多种放大倍数的人脸超分辨率重建问题,提出一种基于极深卷积神经网络的人脸超分辨率重建方法,并通过实验发现增加网络深度能够有效提升人脸重建的精度。首先,设计一个包含20个卷积层的网络从低分辨率图片和高分辨率图片之间学习一种端到端的映射关系,并通过在网络结构中将多个小的滤波器进行多次串联以扩大提取纹理信息的范围。其次,引入了残差学习的方法来解决随着深度的提升细节信息丢失的问题。另外,将不同放大因子的低分辨率人脸图片融合到一个训练集中训练,使得该卷积网络能够解决不同放大因子的人脸超分辨率重建问题。在CASPEAL测试集上的结果显示,该极深卷积神经网络的方法比基于双三次插值的人脸重建方法在峰值信噪比(PSNR)和结构相似度上有2.7 d B和2%的提升,和SRCNN的方法比较也有较大的提升,在精度和视觉改善方面都有较大提升。这显示了更深的网络结构能够在重建中取得更好的结果。
文摘图像超分辨率重建作为一个典型的非适定问题一直受到重视,尽管近年来出现了许多行之有效的卷积神经网络超分辨率重建模型,但如何全面挖掘图像先验信息,用以提高重建图像的细节清晰度仍有待深入研究.本文提出一种基于非抽取Wavelet变换的边缘学习深度残差网络单幅图像超分辨重建模型NDW-EDRN(Non-Decimated Wavelet Edge learning using Deep Residual Networks),在图像经非抽取Wavelet变换后获得多冗余信息、平滑及梯度值较小的低频区域和边缘及梯度值较大的高频区域的基础上,将整体网络框架设计为采用不同结构的CNN(Convolutional Neural Networks)模型来对低频子带与高频子带分别进行学习的策略:对低频子带采用稠密跳跃连接的方式整体性学习低频子带间的映射关系;对高频子带采用一种新型的U-net模型,将图像退化过程中所丢失的边缘作为网络的期望输出,通过基于块的跳跃连接来使网络更精细地学习缺失性边缘,从而更加充分、有效地获取图像在退化过程中所丢失的边缘细节信息.大量实验结果表明,该网络模型能够有效提高重建图像的质量,特别在恢复低分辨率图像的边缘信息方面具有一定的优势,在一定程度上弥补了传统CNN网络模型捕捉图像细节信息的不足.
文摘针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比(PSNR)及结构相似性(SSIM)均值结果较基于卷积神经网络的图像超分辨率(SRCNN)取得的结果分别提升了0.57 d B和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建(ISCNN)取得的结果分别提升了0.45 d B和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率(VDSR)的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。
