4 个月前

ESRGAN:增强型超分辨率生成对抗网络

ESRGAN:增强型超分辨率生成对抗网络

摘要

超分辨率生成对抗网络(SRGAN)是一项开创性的工作,能够在单图像超分辨率过程中生成逼真的纹理。然而,生成的细节往往伴随着令人不悦的伪影。为了进一步提升视觉质量,我们对SRGAN的三个关键组件——网络架构、对抗损失和感知损失进行了深入研究,并对每个组件进行了改进,从而提出了增强型SRGAN(ESRGAN)。具体而言,我们将无批量归一化的残差密集块中的残差引入作为基本网络构建单元(Residual-in-Residual Dense Block, RRDB)。此外,我们借鉴了相对论生成对抗网络的思想,使判别器预测相对真实性而非绝对值。最后,我们通过使用激活前的特征来改进感知损失,这可以为亮度一致性和纹理恢复提供更强的监督。得益于这些改进,所提出的ESRGAN在视觉质量上比SRGAN更加出色,生成的纹理更为逼真和自然,并在PIRM2018-SR挑战赛中获得了第一名。代码可在https://github.com/xinntao/ESRGAN 获取。

代码仓库

xinntao/ESRGAN
官方
pytorch
GitHub 中提及
HyeongJu916/Boaz-SR-ESRGAN-PyTorch
pytorch
GitHub 中提及
RezisEwig/esrgan
tf
GitHub 中提及
aba450/Super-Resolution
pytorch
GitHub 中提及
kingcong/gpu_ESRGAN
mindspore
GitHub 中提及
sberbank-ai/real-esrgan
pytorch
GitHub 中提及
YanyingZH/srgan-esrgan-pytorch
pytorch
GitHub 中提及
yangyucheng000/ESRGAN
mindspore
GitHub 中提及
YvanG/VQGAN-CLIP
pytorch
GitHub 中提及
cviaai/PSF-GAN-ESTIMATION
pytorch
GitHub 中提及
amogh7joshi/media-vision
pytorch
GitHub 中提及
doantienthongbku/ESRGAN
pytorch
GitHub 中提及
sberbank-ai/DigiTeller
tf
GitHub 中提及
peteryuX/esrgan-tf2
tf
GitHub 中提及
luciennnnnnn/dualformer
pytorch
GitHub 中提及
nabarunbaruaAIML/ATCC_Yolov5
pytorch
GitHub 中提及
eriklindernoren/PyTorch-GAN
pytorch
GitHub 中提及
sberbank-ai/DigiTales
tf
GitHub 中提及
CorentinMAG/SRGAN
GitHub 中提及
Lornatang/ESRGAN-PyTorch
pytorch
GitHub 中提及
alililia/ascend_ESRGAN
mindspore
GitHub 中提及
fenghansen/ESRGAN-Keras
tf
GitHub 中提及
allenai/satlas-super-resolution
pytorch
GitHub 中提及
nannau/DoWnGAN
pytorch
GitHub 中提及
sdauzcm/sr-basicsr
pytorch
GitHub 中提及
u7javed/Image-Enhancer-via-ESRGAN
pytorch
GitHub 中提及

基准测试

基准方法指标
face-hallucination-on-ffhq-512-x-512-16xESRGAN
FID: 50.901
LPIPS: 0.3928
NIQE: 15.383
image-super-resolution-on-bsd100-4x-upscalingSRGAN + Residual-in-Residual Dense Block
PSNR: 27.85
SSIM: 0.7455
image-super-resolution-on-ffhq-1024-x-1024-4xESRGAN
FID: 72.73
MS-SSIM: 0.782
PSNR: 19.84
SSIM: 0.353
image-super-resolution-on-ffhq-256-x-256-4xESRGAN
FID: 166.36
MS-SSIM: 0.747
PSNR: 15.43
SSIM: 0.267
image-super-resolution-on-ffhq-512-x-512-4xESRGAN
FED: 0.1107
FID: 3.503
LLE: 2.261
LPIPS: 0.1221
MS-SSIM: 0.935
NIQE: 6.984
PSNR: 27.134
SSIM: 0.741
image-super-resolution-on-manga109-4xbicubic
PSNR: 24.89
SSIM: 0.7866
image-super-resolution-on-manga109-4xSRGAN + Residual-in-Residual Dense Block
PSNR: 31.66
SSIM: 0.9196
image-super-resolution-on-pirm-testESRGAN
NIQE: 2.55
image-super-resolution-on-set14-4x-upscalingSRGAN + Residual-in-Residual Dense Block
PSNR: 28.99
SSIM: 0.7917
image-super-resolution-on-urban100-4xSRGAN + Residual-in-Residual Dense Block
PSNR: 27.03
SSIM: 0.8153
image-super-resolution-on-urban100-4xbicubic
PSNR: 23.14
SSIM: 0.6577
video-super-resolution-on-msu-video-upscalersESRGAN
PSNR: 27.29
SSIM: 0.936
VMAF: 56.69
video-super-resolution-on-msu-vsr-benchmarkESRGAN
1 - LPIPS: 0.948
ERQAv1.0: 0.735
FPS: 1.004
PSNR: 27.33
QRCRv1.0: 0
SSIM: 0.808
Subjective score: 5.353

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ESRGAN:增强型超分辨率生成对抗网络 | 论文 | HyperAI超神经