预训练扩散先验图像复原依赖预训练的扩散模型,无须微调即可处理各种经典图像复原任务。然而,目前的预训练扩散先验图像复原方法在处理高分辨率图像时效率低下,并且存在分布外问题(out of distribution,OOD)。针对以上问题,提出了一种...预训练扩散先验图像复原依赖预训练的扩散模型,无须微调即可处理各种经典图像复原任务。然而,目前的预训练扩散先验图像复原方法在处理高分辨率图像时效率低下,并且存在分布外问题(out of distribution,OOD)。针对以上问题,提出了一种基于预训练扩散模型的两阶段高分辨率图像复原方法,命名为由粗到细(coarse-to-fine,C2F)的方法。首先在预训练模型固定尺寸的coarse阶段得到粗糙的复原结果以保证输出一致性。然后在原尺寸的fine阶段上以coarse阶段结果为起点,使用更短的扩散过程来大幅度提升复原速度与获取一致性结果。在人脸与自然环境等多种场景下,以修复、上色、去模糊三种经典复原任务为目标,两阶段方法在任何尺寸下皆可获得最高水平的输出结果。对于1024尺寸的图像复原,采样次数需求仅需要同类方法的22%,速度达到了同类方法的4.5倍,避免了OOD问题,并且在PSNR与FID指标上达到最高水平。实验表明,所提方法对高分辨率图像的复原速度远高于其他方法,并且避免了OOD问题,具有良好的复原效果。展开更多
从退化图像中恢复原始干净图像是一个经典的病态反问题,正则化技术是解决此问题的主流方法之一。它将解图像限定在一个正则空间中,复原图像即是退化图像在正则空间中的投影,但是针对不同图像选择合适的正则空间是一个难点。为提高正则...从退化图像中恢复原始干净图像是一个经典的病态反问题,正则化技术是解决此问题的主流方法之一。它将解图像限定在一个正则空间中,复原图像即是退化图像在正则空间中的投影,但是针对不同图像选择合适的正则空间是一个难点。为提高正则化模型的适应性,更为精细地建模不同特征图像,基于模糊集理论,提出了一个自适应复合正则化模型。首先采用学习算法计算图像对于不同正则空间的隶属度,然后选择隶属度最大的前s个空间,以隶属度为权重建立自适应复合正则化模型,最后采用ADMM(Alternating Direction Method of Multipliers)算法对模型进行求解。实验结果表明,对于不同的图像,模型可以很好地选择合适的正则空间,得到满意的复原效果。展开更多
文摘预训练扩散先验图像复原依赖预训练的扩散模型,无须微调即可处理各种经典图像复原任务。然而,目前的预训练扩散先验图像复原方法在处理高分辨率图像时效率低下,并且存在分布外问题(out of distribution,OOD)。针对以上问题,提出了一种基于预训练扩散模型的两阶段高分辨率图像复原方法,命名为由粗到细(coarse-to-fine,C2F)的方法。首先在预训练模型固定尺寸的coarse阶段得到粗糙的复原结果以保证输出一致性。然后在原尺寸的fine阶段上以coarse阶段结果为起点,使用更短的扩散过程来大幅度提升复原速度与获取一致性结果。在人脸与自然环境等多种场景下,以修复、上色、去模糊三种经典复原任务为目标,两阶段方法在任何尺寸下皆可获得最高水平的输出结果。对于1024尺寸的图像复原,采样次数需求仅需要同类方法的22%,速度达到了同类方法的4.5倍,避免了OOD问题,并且在PSNR与FID指标上达到最高水平。实验表明,所提方法对高分辨率图像的复原速度远高于其他方法,并且避免了OOD问题,具有良好的复原效果。
文摘从退化图像中恢复原始干净图像是一个经典的病态反问题,正则化技术是解决此问题的主流方法之一。它将解图像限定在一个正则空间中,复原图像即是退化图像在正则空间中的投影,但是针对不同图像选择合适的正则空间是一个难点。为提高正则化模型的适应性,更为精细地建模不同特征图像,基于模糊集理论,提出了一个自适应复合正则化模型。首先采用学习算法计算图像对于不同正则空间的隶属度,然后选择隶属度最大的前s个空间,以隶属度为权重建立自适应复合正则化模型,最后采用ADMM(Alternating Direction Method of Multipliers)算法对模型进行求解。实验结果表明,对于不同的图像,模型可以很好地选择合适的正则空间,得到满意的复原效果。
文摘目的进一步提高图像复原的性能。方法提出一种基于隐式知识迁移(Implicit knowledge transfer)和显式掩码引导(Explicit mask guide)的图像复原通用方法IECNN。将一般的图像复原任务明确拆分为退化区域定位和区域引导复原等2个阶段。首先利用掩码预测网络中固有的退化定位知识,并进行训练,检测严重退化区域,然后提出一种自适应的注意力知识蒸馏方法,将退化区域知识隐式迁移到复原网络中,且无须任何额外的推理计算,随后提出一种掩码引导下的2种模块,在扩充全局感受野的同时重点关注退化区域,以此显式进行图像复原。结果在进行消融实验时,通过可视化特征图与成对关系图直观展现了各个组件的有效性。为了证明文中方法的通用性,在4种空间变化的图像复原任务中,以峰值信噪比(Peak signal to noise ratio)和结构相似性(Structural similarity)2个指标与其他基准方法进行了定量比较,在视觉效果上进行了定性比较。结论证明了隐式知识迁移和显式掩码引导对于图像复原的有效性。
