
摘要
盲脸修复通常依赖于面部先验,如面部几何先验或参考先验,以恢复真实且忠实的细节。然而,非常低质量的输入无法提供准确的几何先验,而高质量的参考图像又难以获取,这限制了其在实际场景中的应用。在这项工作中,我们提出了一种利用预训练人脸生成对抗网络(GAN)中包含的丰富多样的先验进行盲脸修复的方法——GFP-GAN。该生成性面部先验(Generative Facial Prior, GFP)通过新颖的通道分割空间特征变换层被整合到人脸修复过程中,使我们的方法能够在真实性和保真度之间取得良好的平衡。得益于强大的生成性面部先验和精细的设计,我们的GFP-GAN能够在单次前向传播中同时恢复面部细节并增强颜色,而基于GAN反演的方法则需要在推理时进行昂贵的图像特定优化。大量实验表明,我们的方法在合成数据集和真实世界数据集上均优于现有技术。
代码仓库
TencentARC/GFPGAN
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| blind-face-restoration-on-celeba-test | GFP-GAN | Deg.: 34.60 FID: 42.62 LPIPS: 36.46 NIQE: 4.077 PSNR: 25.08 SSIM: 0.6777 |
| video-super-resolution-on-msu-vsr-benchmark | GFPGAN | 1 - LPIPS: 0.793 ERQAv1.0: 0.538 FPS: 1.562 PSNR: 24.195 QRCRv1.0: 0 SSIM: 0.745 Subjective score: 2.686 |