图像压缩感知能从低采样观测中重建出高质量图像。将深度学习应用于图像压缩感知,可显著提高图像重建质量。然而,基于深度学习的图像压缩感知方法存在模型可解释性差、结构盲目设计而影响重建性能的问题。针对这些问题,提出了一种基于...图像压缩感知能从低采样观测中重建出高质量图像。将深度学习应用于图像压缩感知,可显著提高图像重建质量。然而,基于深度学习的图像压缩感知方法存在模型可解释性差、结构盲目设计而影响重建性能的问题。针对这些问题,提出了一种基于零值域分解的深度图像压缩感知方法(range-null space decomposition based deep image compressive sensing network,RND-Net)。该方法通过全局卷积采样的方式稀疏感知图像的特征信息,通过学习信号相关的采样矩阵,使采样值包含更丰富的图像特征,且相较一般的逐块采样方式,在全局层面上的采样可明显减少块状伪影;基于零值域分解的数学表示,将采样与重建过程转化为端到端深度学习模型,借助深度神经网络拟合所涉及的线性或非线性运算,相比传统方法缩短了模型推理时间,提升了图像重建能力。上述将数学先验知识有效融入数据驱动的方法称为协同驱动,既充分利用了数学先验知识,强化了模型的可解释性,使模型结构更易于设计,又发挥了以深度学习为代表的数据驱动方法的自主寻优能力,相比其他深度压缩感知方法更易于获得全局最优解。在多个测试集上的实验证明,RND-Net与目前图像重建能力较好的算法相比显著提升了图像重建质量,减少了单幅图像重建时间。当采样率为0.1、测试集为BSDS68时,RND-Net比AutoBCS在峰值信噪比(PSNR)上平均高1.02 dB。在测试集Set14上,RND-Net对于混合驱动的GPX-ADMM-Net的平均PSNR和结构相似性指数(SSIM)增益分别为1.15dB和0.0518;重建单幅图像时,RND-Net比GPX-ADMM-Net快约0.1049 s。展开更多
文摘图像压缩感知能从低采样观测中重建出高质量图像。将深度学习应用于图像压缩感知,可显著提高图像重建质量。然而,基于深度学习的图像压缩感知方法存在模型可解释性差、结构盲目设计而影响重建性能的问题。针对这些问题,提出了一种基于零值域分解的深度图像压缩感知方法(range-null space decomposition based deep image compressive sensing network,RND-Net)。该方法通过全局卷积采样的方式稀疏感知图像的特征信息,通过学习信号相关的采样矩阵,使采样值包含更丰富的图像特征,且相较一般的逐块采样方式,在全局层面上的采样可明显减少块状伪影;基于零值域分解的数学表示,将采样与重建过程转化为端到端深度学习模型,借助深度神经网络拟合所涉及的线性或非线性运算,相比传统方法缩短了模型推理时间,提升了图像重建能力。上述将数学先验知识有效融入数据驱动的方法称为协同驱动,既充分利用了数学先验知识,强化了模型的可解释性,使模型结构更易于设计,又发挥了以深度学习为代表的数据驱动方法的自主寻优能力,相比其他深度压缩感知方法更易于获得全局最优解。在多个测试集上的实验证明,RND-Net与目前图像重建能力较好的算法相比显著提升了图像重建质量,减少了单幅图像重建时间。当采样率为0.1、测试集为BSDS68时,RND-Net比AutoBCS在峰值信噪比(PSNR)上平均高1.02 dB。在测试集Set14上,RND-Net对于混合驱动的GPX-ADMM-Net的平均PSNR和结构相似性指数(SSIM)增益分别为1.15dB和0.0518;重建单幅图像时,RND-Net比GPX-ADMM-Net快约0.1049 s。
文摘单图像高动态范围(High Dynamic Range,HDR)重建能够避免多曝光HDR成像可能造成的鬼影伪像,正受到广泛研究.然而,现有方法由于缺乏对重要信息的关注,尚不能很好地恢复曝光不良区域的细节信息.为解决该问题,本文提出了一种基于多重注意力和感知加权学习的单图像HDR重建方法,旨在从单幅低动态范围图像中推断出高保真的HDR图像.具体而言,考虑到恢复曝光不良区域需参考其他区域的补偿信息,本文设计了具有全局-局部感受野的多重注意力视觉Transformer(Multi-Attention Vision Transformer,MA-ViT),其将深度可分离卷积和注意力机制相结合,从而实现更有效的全局和局部特征提取与交互.此外,还提出了一种损失感知加权图以引导网络聚焦曝光不良区域,进一步提升HDR重建质量.本文在多个基准数据集上构建了全面的对比实验,结果表明所提出方法相较于目前最先进的方法在平均峰值信噪比(Peak Signal to Noise Ratio,PSNR)上提高了0.23 dB,同时生成了具有更高视觉质量的HDR重建结果.
