
摘要
现有的面部修复研究通常依赖于退化先验或显式引导标签进行训练,这往往导致在具有异质退化和丰富背景内容的真实世界图像上的泛化能力有限。本文中,我们探讨了更具挑战性和实用性的“双重盲”问题版本,通过取消对这两种先验的要求,将其称为“面部翻新”(Face Renovation, FR)。具体而言,我们将FR表述为一个语义引导的生成问题,并采用协作抑制与补充(Collaborative Suppression and Replenishment, CSR)方法来解决这一问题。这导致了HiFaceGAN的提出,这是一种多阶段框架,包含多个嵌套的CSR单元,这些单元基于从前端内容自适应抑制模块中提取的层次语义引导逐步补充面部细节。大量实验表明,无论是在合成图像还是真实人脸图像上,HiFaceGAN在多种具有挑战性的修复子任务中均表现出优越性能,展示了其在实际面部处理应用中的 versatility(多功能性)、robustness(鲁棒性)和 generalization ability(泛化能力)。
代码仓库
Lotayou/Face-Renovation
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| blind-face-restoration-on-celeba-test | HiFaceGAN | Deg.: 42.18 FID: 66.09 LPIPS: 47.7 NIQE: 4.916 PSNR: 24.92 SSIM: 0.6195 |
| face-hallucination-on-ffhq-512-x-512-16x | HiFaceGAN | FID: 11.389 LPIPS: 0.2449 NIQE: 6.767 |
| image-super-resolution-on-ffhq-1024-x-1024-4x | HiFaceGAN | FID: 1.978 MS-SSIM: 0.975 PSNR: 33.04 SSIM: 0.875 |
| image-super-resolution-on-ffhq-256-x-256-4x | HiFaceGAN | FID: 5.36 MS-SSIM: 0.971 PSNR: 28.65 SSIM: 0.816 |
| image-super-resolution-on-ffhq-512-x-512-4x | HiFaceGAN | FED: 0.0716 FID: 1.898 LLE: 2.071 LPIPS: 0.0723 MS-SSIM: 0.971 NIQE: 6.961 PSNR: 30.824 SSIM: 0.838 |