-
题名基于密集连接块U-Net的语义人脸图像修复
被引量：9
- 1
-
-
作者
杨文霞
王萌
张亮
-
机构
武汉理工大学理学院
广西科技大学启迪数字学院
-
出处
《计算机应用》
CSCD
北大核心
2020年第12期3651-3657,共7页
-
基金
国家自然科学基金资助项目(61573012)
国家留学基金资助项目(201906955038)
柳州科技计划项目(2018DH10503)。
-
文摘
针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分(TV)损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积(GC)在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性(SSIM)和峰值信噪比(PSNR)分别提高了5.68%和7.87%,Frechet Inception距离(FID)降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。
-
关键词
语义图像修复
生成对抗网络
密集连接块
损失函数
局部总变分
编码器-解码器
-
Keywords
semantic image inpainting
generative adversarial network
dense block
loss function
local Total Variation(TV)
encoder-decoder
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
