现有图像修复方法均采用单一分辨率图像作为网络输入进行图像特征提取,无法充分利用不同分辨率图像的不同特征来进行图像修复,导致图像纹理细节信息修复不佳甚至出现伪影。为进一步提高修复效果,提出一种基于多输入多输出约束对抗网络...现有图像修复方法均采用单一分辨率图像作为网络输入进行图像特征提取,无法充分利用不同分辨率图像的不同特征来进行图像修复,导致图像纹理细节信息修复不佳甚至出现伪影。为进一步提高修复效果,提出一种基于多输入多输出约束对抗网络的图像修复算法。该方法设计了一种多输入低分辨率图像生成模块,利用编码解码结构生成多个低分辨率输入图像的全局结构信息;构建了一种残差注意力特征融合模块,并将低分辨率图像生成结果与高分辨率输入缺失图像包含的细粒度特征进行融合,从而帮助高分辨率图像进行补全;提出了一种约束多输出多尺度对抗损失函数,该函数通过约束生成图像的局部细节和修复图像在高级结构上的一致性,从而保证了判别器生成的多输出图像在不同尺度上的质量和真实性。在CelebA-HQ数据集和Paris Street View数据集上进行了主客观对比实验,实验结果表明,该方法性能优于当前五种代表性单输入单输出图像修复网络。多输入多输出约束对抗网络能够充分利用不同分辨率输入图像的不同特征来进行图像修复,生成更可信的图像局部细节,提高图像修复效果。展开更多
文摘现有图像修复方法均采用单一分辨率图像作为网络输入进行图像特征提取,无法充分利用不同分辨率图像的不同特征来进行图像修复,导致图像纹理细节信息修复不佳甚至出现伪影。为进一步提高修复效果,提出一种基于多输入多输出约束对抗网络的图像修复算法。该方法设计了一种多输入低分辨率图像生成模块,利用编码解码结构生成多个低分辨率输入图像的全局结构信息;构建了一种残差注意力特征融合模块,并将低分辨率图像生成结果与高分辨率输入缺失图像包含的细粒度特征进行融合,从而帮助高分辨率图像进行补全;提出了一种约束多输出多尺度对抗损失函数,该函数通过约束生成图像的局部细节和修复图像在高级结构上的一致性,从而保证了判别器生成的多输出图像在不同尺度上的质量和真实性。在CelebA-HQ数据集和Paris Street View数据集上进行了主客观对比实验,实验结果表明,该方法性能优于当前五种代表性单输入单输出图像修复网络。多输入多输出约束对抗网络能够充分利用不同分辨率输入图像的不同特征来进行图像修复,生成更可信的图像局部细节,提高图像修复效果。
