4 个月前

使用生成对抗网络实现照片级单图像超分辨率重建

使用生成对抗网络实现照片级单图像超分辨率重建

摘要

尽管在使用更快、更深的卷积神经网络进行单图像超分辨率方面取得了突破性的进展,但一个核心问题仍未得到解决:如何在大倍率放大时恢复更精细的纹理细节?基于优化的超分辨率方法的行为主要由目标函数的选择决定。近期的研究大多集中在最小化均方重建误差上。虽然由此产生的估计值具有较高的峰值信噪比,但它们通常缺乏高频细节,在感知质量上也不尽如人意,即无法达到高分辨率图像所期望的真实度。本文中,我们提出了一种用于图像超分辨率(SR)的生成对抗网络(GAN),即SRGAN。据我们所知,这是首个能够推断出4倍放大因子下的照片级自然图像的框架。为了实现这一目标,我们提出了一种感知损失函数,该函数由对抗损失和内容损失组成。对抗损失通过训练一个区分超分辨率图像和原始照片级图像的判别网络,将我们的解决方案推向自然图像流形。此外,我们使用了一种基于感知相似性的内容损失,而不是像素空间中的相似性。我们的深度残差网络能够在公共基准测试中从严重降采样的图像中恢复出照片级真实的纹理。广泛的平均意见评分(MOS)测试显示,使用SRGAN在感知质量上取得了显著提升。SRGAN获得的MOS分数更接近于原始高分辨率图像的分数,而远优于任何现有最先进方法所得的结果。

代码仓库

wkhademi/ImageEnhancement
tf
GitHub 中提及
monishramadoss/SRGAN
pytorch
GitHub 中提及
anujtyagi2802/SRGAN
tf
GitHub 中提及
HyeongJu916/Boaz-SR-ESRGAN-PyTorch
pytorch
GitHub 中提及
Hayashi-Yudai/SRGAN
tf
GitHub 中提及
tensorlayer/SRGAN
tf
GitHub 中提及
Rajas1211/SRGAN
GitHub 中提及
fzimmermann89/sr4rs
pytorch
GitHub 中提及
brade31919/SRGAN-tensorflow
tf
GitHub 中提及
alvarobasi/eyeSRGAN
tf
GitHub 中提及
Aqsa-K/SRGAN-Keras
tf
GitHub 中提及
ShambhawiVarchasva/SRGAN
tf
GitHub 中提及
Idelcads/IMKI_Technical_test
pytorch
GitHub 中提及
aba450/Super-Resolution
pytorch
GitHub 中提及
SDBurt/SRGAN-PT
pytorch
GitHub 中提及
YanyingZH/srgan-esrgan-pytorch
pytorch
GitHub 中提及
bochaozhao/Super_resolution
pytorch
GitHub 中提及
chilung/NCTU_Adv_DNN_HW4
pytorch
GitHub 中提及
Mind23-2/MindCode-81
mindspore
GitHub 中提及
itsuki8914/SRGAN-TensorFlow
tf
GitHub 中提及
teakkkz/imageSR
tf
GitHub 中提及
CreativeCodingLab/DeepIllumination
pytorch
GitHub 中提及
tjjj686/dl_project_srgan
pytorch
GitHub 中提及
swordgeek/SR
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-41
mindspore
GitHub 中提及
kritiksoman/GIMP-ML
pytorch
GitHub 中提及
dnwjddl/Inpainting
GitHub 中提及
WarClans612/deep_learning_final
pytorch
GitHub 中提及
Lornatang/SRGAN_PyTorch
pytorch
GitHub 中提及
Lornatang/SRGAN-PyTorch
pytorch
GitHub 中提及
alexjc/neural-enhance
GitHub 中提及
ubombar/super-resolution-srrnet
pytorch
GitHub 中提及
seunghwan1228/srgran
tf
GitHub 中提及
krasserm/super-resolution
tf
GitHub 中提及
calebemonteiro/AIDL_Project
tf
GitHub 中提及
TahmasbiM/Example
tf
GitHub 中提及
akanametov/Pix2Pix
pytorch
GitHub 中提及
woutercools1998/SRResNet
pytorch
GitHub 中提及
jpatts/srgan_tf
tf
GitHub 中提及
twtygqyy/pytorch-SRResNet
pytorch
GitHub 中提及
xiangyu-liu/DBSR
pytorch
GitHub 中提及
zlf1993/SrGAN
tf
GitHub 中提及
yangyucheng000/srgan
mindspore
GitHub 中提及
jason-zl190/sisr
tf
GitHub 中提及
xinntao/BasicSR
pytorch
GitHub 中提及
JasonPlawinski/SuperResolution
pytorch
GitHub 中提及
zsdonghao/SRGAN
tf
GitHub 中提及
maiyuxiaoge/srgan
tf
GitHub 中提及
DAMI211/srgan
mindspore
GitHub 中提及
akshaysubr/TEGAN
tf
GitHub 中提及
akanametov/SuperResolution
pytorch
GitHub 中提及
fengye-lu/PyTorch-SRGAN
pytorch
GitHub 中提及
waze96/SRGAN
pytorch
GitHub 中提及
V0LsTeR/mySRResNet
pytorch
GitHub 中提及
AntonioAlgaida/Edge.SRGAN
pytorch
GitHub 中提及
leftthomas/SRGAN
pytorch
GitHub 中提及
wnorowsb/Super-resolution-GAN
pytorch
GitHub 中提及
Lornatang/SRCNN-PyTorch
pytorch
GitHub 中提及
twhui/SRGAN-PyTorch
pytorch
GitHub 中提及
jiajunhua/aitorzip-PyTorch-SRGAN
pytorch
GitHub 中提及
eriklindernoren/Keras-GAN
pytorch
GitHub 中提及
vuanhtu1993/Keras-SRGANs
tf
GitHub 中提及
epochlab/xres
tf
GitHub 中提及
zijundeng/SRGAN
pytorch
GitHub 中提及
TomokiKomiya/SRGAN-keras
tf
GitHub 中提及
eriklindernoren/PyTorch-GAN
pytorch
GitHub 中提及
goldhuang/SRGAN-PyTorch
pytorch
GitHub 中提及
Idelcads/Super_Resolution_overview
pytorch
GitHub 中提及
CorentinMAG/SRGAN
GitHub 中提及
bencottier/GANCS
tf
GitHub 中提及
UBERCRUZER/superresolution
tf
GitHub 中提及
deepak112/Keras-SRGAN
tf
GitHub 中提及
itsuki8914/srresnet4x
tf
GitHub 中提及
Razi92/GAN_SISR_Pytorch
pytorch
GitHub 中提及
liruilong940607/SRResnet
pytorch
GitHub 中提及
roimehrez/PIRM2018
GitHub 中提及
Lornatang/ESRGAN-PyTorch
pytorch
GitHub 中提及
AtharvBhat/Plus-Ultra
pytorch
GitHub 中提及
junhocho/SRGAN
GitHub 中提及
jacquelinelala/GFN
pytorch
GitHub 中提及
nannau/DoWnGAN
pytorch
GitHub 中提及
123YanZou/SRGAN
mindspore
GitHub 中提及
sdauzcm/sr-basicsr
pytorch
GitHub 中提及
gongenhao/GANCS
tf
GitHub 中提及

基准测试

基准方法指标
image-super-resolution-on-bsd100-4x-upscalingSRGAN
MOS: 3.56
PSNR: 25.16
SSIM: 0.6688
image-super-resolution-on-bsd100-4x-upscalingSRResNet
MOS: 2.29
PSNR: 27.58
SSIM: 0.762
image-super-resolution-on-bsd100-4x-upscalingbicubic
MOS: 1.47
PSNR: 25.94
SSIM: 0.6935
image-super-resolution-on-bsd100-4x-upscalingnearest neighbors
MOS: 1.11
PSNR: 25.02
SSIM: 0.6606
image-super-resolution-on-ffhq-1024-x-1024-4xSRGAN
FID: 60.67
MS-SSIM: 0.807
PSNR: 21.49
SSIM: 0.515
image-super-resolution-on-ffhq-256-x-256-4xSRGAN
FID: 156.07
MS-SSIM: 0.757
PSNR: 17.57
SSIM: 0.415
image-super-resolution-on-ffhq-512-x-512-4xSRGAN
FED: 0.1097
FID: 4.396
LLE: 2.269
LPIPS: 0.1313
MS-SSIM: 0.935
NIQE: 7.378
PSNR: 27.494
SSIM: 0.735
image-super-resolution-on-pirm-testSRGAN
NIQE: 2.71
image-super-resolution-on-set14-4x-upscalingbicubic
MOS: 1.8
SSIM: 0.7486
image-super-resolution-on-set14-4x-upscalingSRResNet
MOS: 2.98
PSNR: 28.49
SSIM: 0.8184
image-super-resolution-on-set14-4x-upscalingnearest neighbors
MOS: 1.2
PSNR: 24.64
SSIM: 0.71
image-super-resolution-on-set14-4x-upscalingSRGAN
MOS: 3.72
PSNR: 25.99
SSIM: 0.7397
image-super-resolution-on-set5-4x-upscalingSRGAN
MOS: 3.58
PSNR: 29.4
SSIM: 0.8472
image-super-resolution-on-vggface2-8xSRGAN
PSNR: 23.01
image-super-resolution-on-webface-8xSRGAN
PSNR: 24.49

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用生成对抗网络实现照片级单图像超分辨率重建 | 论文 | HyperAI超神经