4 个月前

HiFaceGAN:通过协同抑制和补充实现面部修复

HiFaceGAN:通过协同抑制和补充实现面部修复

摘要

现有的面部修复研究通常依赖于退化先验或显式引导标签进行训练,这往往导致在具有异质退化和丰富背景内容的真实世界图像上的泛化能力有限。本文中,我们探讨了更具挑战性和实用性的“双重盲”问题版本,通过取消对这两种先验的要求,将其称为“面部翻新”(Face Renovation, FR)。具体而言,我们将FR表述为一个语义引导的生成问题,并采用协作抑制与补充(Collaborative Suppression and Replenishment, CSR)方法来解决这一问题。这导致了HiFaceGAN的提出,这是一种多阶段框架,包含多个嵌套的CSR单元,这些单元基于从前端内容自适应抑制模块中提取的层次语义引导逐步补充面部细节。大量实验表明,无论是在合成图像还是真实人脸图像上,HiFaceGAN在多种具有挑战性的修复子任务中均表现出优越性能,展示了其在实际面部处理应用中的 versatility(多功能性)、robustness(鲁棒性)和 generalization ability(泛化能力)。

基准测试

基准方法指标
blind-face-restoration-on-celeba-testHiFaceGAN
Deg.: 42.18
FID: 66.09
LPIPS: 47.7
NIQE: 4.916
PSNR: 24.92
SSIM: 0.6195
face-hallucination-on-ffhq-512-x-512-16xHiFaceGAN
FID: 11.389
LPIPS: 0.2449
NIQE: 6.767
image-super-resolution-on-ffhq-1024-x-1024-4xHiFaceGAN
FID: 1.978
MS-SSIM: 0.975
PSNR: 33.04
SSIM: 0.875
image-super-resolution-on-ffhq-256-x-256-4xHiFaceGAN
FID: 5.36
MS-SSIM: 0.971
PSNR: 28.65
SSIM: 0.816
image-super-resolution-on-ffhq-512-x-512-4xHiFaceGAN
FED: 0.0716
FID: 1.898
LLE: 2.071
LPIPS: 0.0723
MS-SSIM: 0.971
NIQE: 6.961
PSNR: 30.824
SSIM: 0.838

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
HiFaceGAN:通过协同抑制和补充实现面部修复 | 论文 | HyperAI超神经