4 个月前

面向现实世界的生成性面部先验盲人脸修复

面向现实世界的生成性面部先验盲人脸修复

摘要

盲脸修复通常依赖于面部先验,如面部几何先验或参考先验,以恢复真实且忠实的细节。然而,非常低质量的输入无法提供准确的几何先验,而高质量的参考图像又难以获取,这限制了其在实际场景中的应用。在这项工作中,我们提出了一种利用预训练人脸生成对抗网络(GAN)中包含的丰富多样的先验进行盲脸修复的方法——GFP-GAN。该生成性面部先验(Generative Facial Prior, GFP)通过新颖的通道分割空间特征变换层被整合到人脸修复过程中,使我们的方法能够在真实性和保真度之间取得良好的平衡。得益于强大的生成性面部先验和精细的设计,我们的GFP-GAN能够在单次前向传播中同时恢复面部细节并增强颜色,而基于GAN反演的方法则需要在推理时进行昂贵的图像特定优化。大量实验表明,我们的方法在合成数据集和真实世界数据集上均优于现有技术。

代码仓库

TencentARC/GFPGAN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
blind-face-restoration-on-celeba-testGFP-GAN
Deg.: 34.60
FID: 42.62
LPIPS: 36.46
NIQE: 4.077
PSNR: 25.08
SSIM: 0.6777
video-super-resolution-on-msu-vsr-benchmarkGFPGAN
1 - LPIPS: 0.793
ERQAv1.0: 0.538
FPS: 1.562
PSNR: 24.195
QRCRv1.0: 0
SSIM: 0.745
Subjective score: 2.686

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向现实世界的生成性面部先验盲人脸修复 | 论文 | HyperAI超神经