17 天前

基于条件对抗网络的图像到图像翻译

基于条件对抗网络的图像到图像翻译

摘要

我们研究了条件对抗网络作为一种通用解决方案,用于图像到图像的转换问题。这类网络不仅能够学习从输入图像到输出图像的映射关系,还能自动学习用于训练该映射的损失函数。这使得我们能够以统一的通用方法应对传统上需要完全不同损失函数设计的任务。我们证明,该方法在从语义标签图生成照片、从边缘图重建物体、图像着色等多种任务中均表现出色。事实上,自本文所附的pix2pix软件发布以来,大量网络用户(其中许多是艺术家)纷纷上传了他们使用该系统进行的实验,进一步证明了该方法的广泛适用性以及无需调整参数即可轻松采用的优势。作为研究社区,我们已不再需要手动设计映射函数,而本工作也表明,我们同样可以无需手动设计损失函数,便获得合理的结果。

代码仓库

sidneykingsley/fyp
tf
GitHub 中提及
vaibhavjindal/pix2pix-pytorch
pytorch
GitHub 中提及
Vious/LBAM_Pytorch
pytorch
GitHub 中提及
tianhai123/pix2pix
pytorch
GitHub 中提及
leemathew1998/GradientWeight
pytorch
GitHub 中提及
Montia/bw2color
tf
GitHub 中提及
jackaduma/CycleGAN-VC2
pytorch
GitHub 中提及
kingcheng2000/GAN
GitHub 中提及
sigtot/unet-auto
pytorch
GitHub 中提及
prakashpandey9/BicycleGAN
tf
GitHub 中提及
Mind23-2/MindCode-61
mindspore
GitHub 中提及
nekitmm/starnet
tf
GitHub 中提及
XJhaoren/Academic-Group
GitHub 中提及
INOS-soft/KuE.electo-waffle
tf
GitHub 中提及
yigitgunduc/tensor-to-image
tf
GitHub 中提及
yd8534976/conGAN
tf
GitHub 中提及
brade31919/SRGAN-tensorflow
tf
GitHub 中提及
json9512/sonarToimage
pytorch
GitHub 中提及
PDEUXA/AIF_CYCLEGAN
tf
GitHub 中提及
ryanwng12/img-colorization
pytorch
GitHub 中提及
pooriyasafaei/cityscapes_pix2pix
pytorch
GitHub 中提及
Nisnab/Pix2Pix
pytorch
GitHub 中提及
PieterBijl/Group28
pytorch
GitHub 中提及
deepware/pix2pix
pytorch
GitHub 中提及
znxlwm/pytorch-pix2pix
pytorch
GitHub 中提及
rohitkuk/Cartoonify
pytorch
GitHub 中提及
YoungWoong-Cho/Decay
pytorch
GitHub 中提及
CreativeCodingLab/DeepIllumination
pytorch
GitHub 中提及
darth-c0d3r/pix2pix
pytorch
GitHub 中提及
hariv/pix2pix
pytorch
GitHub 中提及
dwen3232/op-colorization
tf
GitHub 中提及
STASYA00/UrbanGen
pytorch
GitHub 中提及
mcaseyrehm/pix2pixColab
tf
GitHub 中提及
andrewowens/multisensory
tf
GitHub 中提及
a-martyn/unet
tf
GitHub 中提及
gcwl/pytorch-pix2pix
pytorch
GitHub 中提及
awjuliani/Pix2Pix-Film
tf
GitHub 中提及
INOS-soft/Bro-coil
tf
GitHub 中提及
FHomps/ADViSE
pytorch
GitHub 中提及
zcemycl/Matlab-GAN
pytorch
GitHub 中提及
enstan/pix2pix_h5-
tf
GitHub 中提及
NeuralVFX/pix2pix
pytorch
GitHub 中提及
01pooja10/Sketch-to-Shoe
pytorch
GitHub 中提及
INOS-soft/AI
tf
GitHub 中提及
leemathew1998/RG
pytorch
GitHub 中提及
AbhinavTalari/Night2Day
pytorch
GitHub 中提及
hero9968/pix2pix-tensorflow
tf
GitHub 中提及
skabbit/pix2pix-webcam
tf
GitHub 中提及
georg-wolflein/hoechstgan
pytorch
GitHub 中提及
icon-lab/pflsynth
pytorch
GitHub 中提及
bxck75/piss-ant-pix2pix
tf
GitHub 中提及
jaingaurav3/GAN-Hacks
GitHub 中提及
akanametov/Pix2Pix
pytorch
GitHub 中提及
laclark/cuneiform_lineart
tf
GitHub 中提及
Adi-iitd/AI-Art
tf
GitHub 中提及
tomgillooly/geogan
pytorch
GitHub 中提及
TanyaChutani/Pix2pix-Tf2.x
tf
GitHub 中提及
Baichenjia/Pix2Pix-eager
tf
GitHub 中提及
ivankunyankin/pix2pix
pytorch
GitHub 中提及
unicredit/ganzo
pytorch
GitHub 中提及
pokurin123/pix2pix_try
pytorch
GitHub 中提及
Yodai1996/CV
GitHub 中提及
utunga/pix2pix-tensorflow
tf
GitHub 中提及
DLHacks/pix2pix_PAN
pytorch
GitHub 中提及
vamsi3/pix2pix
pytorch
GitHub 中提及
fraxea/pix2pix
pytorch
GitHub 中提及
INOS-soft/Python-Tools
tf
GitHub 中提及
Vladislav-IS/dls_project_pix2pix
pytorch
GitHub 中提及
harshitbhushan68/Pix-2-Pix
pytorch
GitHub 中提及
soumik12345/Pix2Pix
tf
GitHub 中提及
abods/generative_painting
tf
GitHub 中提及
r06922019/butt_lion_paper_notes
pytorch
GitHub 中提及
oliverquintana/cGAN
tf
GitHub 中提及
Rust401/pixel2piexl
tf
GitHub 中提及
Paul92/cp_2020
pytorch
GitHub 中提及
amittiwary42/pix2pix-NNFL
tf
GitHub 中提及
ranjith0430/ML-tutorials
tf
GitHub 中提及
acecreamu/angularGAN
pytorch
GitHub 中提及
eriklindernoren/Keras-GAN
pytorch
GitHub 中提及
mrzhu-cool/pix2pix-pytorch
pytorch
GitHub 中提及
GH3927/pix2pix_linemod_duck
pytorch
GitHub 中提及
epochlab/xres
tf
GitHub 中提及
svikramank/pix2pix
pytorch
GitHub 中提及
gerardoglz/GANs
GitHub 中提及
telecombcn-dl/2018-dlcv-team2
pytorch
GitHub 中提及
eriklindernoren/PyTorch-GAN
pytorch
GitHub 中提及
lukeandshuo/IR2VI_journal
pytorch
GitHub 中提及
saviaga/faceswap
tf
GitHub 中提及
pscmap13/pix2pix
tf
GitHub 中提及
mohit-kaushik/Pix2PixGAN
pytorch
GitHub 中提及
alpha-davidson/sun_cgan
tf
GitHub 中提及
nishantcoder97/cgandemo
tf
GitHub 中提及
sdnr1/c-gan_pix2pix
tf
GitHub 中提及
isrugeek/semcolour
tf
GitHub 中提及
ashura1234/soccer-line-detection
pytorch
GitHub 中提及
AlliBalliBaba/PixFace
tf
GitHub 中提及
XavierJiezou/cloud-removal-deploy
pytorch
GitHub 中提及
sroutray/pix2pix-isola
pytorch
GitHub 中提及
PuchatekwSzortach/pix2pix
tf
GitHub 中提及
amitaydr/Hackaton2018
tf
GitHub 中提及
carlosh93/sfr_hb-irit-uis
pytorch
GitHub 中提及
JobQiu/hackrice
tf
GitHub 中提及
Lornatang/PyTorch-CycleGAN
pytorch
GitHub 中提及
bupt-ai-cz/LLVIP
pytorch
GitHub 中提及
asyrovprog/cs230project
GitHub 中提及
hahahappyboy/GANForCartoon
pytorch
GitHub 中提及
taivu1998/GANime
tf
GitHub 中提及

基准测试

基准方法指标
colorization-on-imagenet-valcGAN
FID-5K: 24.41
cross-view-image-to-image-translation-onPix2pix
SSIM: 0.4808
cross-view-image-to-image-translation-on-1Pix2pix
SSIM: 0.3675
cross-view-image-to-image-translation-on-2Pix2pix
SSIM: 0.418
cross-view-image-to-image-translation-on-3Pix2pix
SSIM: 0.2693
cross-view-image-to-image-translation-on-4Pix2pix
SSIM: 0.3923
cross-view-image-to-image-translation-on-5Pix2pix
SSIM: 0.2213
fundus-to-angiography-generation-on-funduspix2pix
FID: 48.6
image-reconstruction-on-edge-to-handbagspix2pix
FID: 96.31
LPIPS: 0.234
image-reconstruction-on-edge-to-shoespix2pix
FID: 197.492
LPIPS: 0.238
image-to-image-translation-on-aerial-to-mapcGAN
Class IOU: 0.26
Per-class Accuracy: 46.0%
Per-pixel Accuracy: 70.0%
image-to-image-translation-on-cityscapespix2pix
Class IOU: 0.18
LPIPS: 0
Per-class Accuracy: 25.0
Per-pixel Accuracy: 71.0
image-to-image-translation-on-cityscapes-1pix2pix
Class IOU: 0.32
Per-class Accuracy: 40.0%
Per-pixel Accuracy: 85.0%
image-to-image-translation-on-flirpix2pix
PSNR: 4.19
SSIM: 0.05
nuclear-segmentation-on-cell17Pix2Pix
Dice: 0.6351
F1-score: 0.6208
Hausdorff: 19.1441

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供