17 天前

使用循环一致性对抗网络的非配对图像到图像转换

使用循环一致性对抗网络的非配对图像到图像转换

摘要

图像到图像的转换是一类视觉与图形问题,其目标是利用成对的图像训练数据,学习从输入图像到输出图像的映射关系。然而,在许多任务中,成对的训练数据难以获取。本文提出一种在缺乏成对样本的情况下,将图像从源域 $X$ 转换到目标域 $Y$ 的方法。我们的目标是学习一个映射函数 $G: X \rightarrow Y$,使得生成图像 $G(X)$ 的分布与目标域 $Y$ 的分布在对抗性损失的约束下无法区分。由于该映射本身高度欠约束,我们引入一个逆映射 $F: Y \rightarrow X$,并通过循环一致性损失强制满足 $F(G(X)) \approx X$(反之亦然)。我们在多个不存在成对训练数据的任务上展示了定性结果,包括风格迁移、物体形态转换、季节转换、照片增强等。与多种先前方法的定量对比表明,本文提出的方法具有显著优势。

代码仓库

Shumway82/CycleGAN
tf
GitHub 中提及
WeiYangze/hibernate-demo
tf
GitHub 中提及
wkhademi/ImageEnhancement
tf
GitHub 中提及
CarpdiemLiang/style_transfer
pytorch
GitHub 中提及
jackaduma/CycleGAN-VC2
pytorch
GitHub 中提及
dantecomedia/CycleGAN
tf
GitHub 中提及
AlphaKong/CycleGAN
tf
GitHub 中提及
arnavdodiedo/sketch2face
GitHub 中提及
SarderLab/WSI-cycleGAN
tf
GitHub 中提及
GiuliaLanzillotta/exercises
tf
GitHub 中提及
SeonghoBaek/CycleGAN
tf
GitHub 中提及
ganslate-team/ganslate
pytorch
GitHub 中提及
avellal14/AI-for-Art
pytorch
GitHub 中提及
dhassault/cyclegan_pytorch
pytorch
GitHub 中提及
Atharva-Phatak/Image2Image
pytorch
GitHub 中提及
chao-ji/image-translation
tf
GitHub 中提及
PDEUXA/AIF_CYCLEGAN
tf
GitHub 中提及
ranery/Bayesian-CycleGAN
pytorch
GitHub 中提及
jiajunhua/CycleGAN
tf
GitHub 中提及
NeuralVFX/lighting-swap-cyclegan
pytorch
GitHub 中提及
JaryV/CycleGAN_OldYoung
pytorch
GitHub 中提及
pooriyasafaei/cityscapes_pix2pix
pytorch
GitHub 中提及
hujinsen/pytorch-StarGAN-VC
pytorch
GitHub 中提及
junyanz/CycleGAN
官方
tf
GitHub 中提及
YoungWoong-Cho/Decay
pytorch
GitHub 中提及
aitorzip/PyTorch-CycleGAN
pytorch
GitHub 中提及
JohanZYe/CycleGAN-Pokemon
pytorch
GitHub 中提及
adnanalam53/cycleGAN
tf
GitHub 中提及
yxue3357/CycleGAN_pt
pytorch
GitHub 中提及
bareeka/ganproject
tf
GitHub 中提及
cydessole/AnimeLife
GitHub 中提及
ZhangGongjie/CycleGAN-Pytorch
pytorch
GitHub 中提及
tarujg/domain-adapt
pytorch
GitHub 中提及
zcemycl/Matlab-GAN
pytorch
GitHub 中提及
GBATZOLIS/Wespe-Keras
tf
GitHub 中提及
alexquach/cycleGAN
pytorch
GitHub 中提及
hthoai/UI2IT
pytorch
GitHub 中提及
khush3/GAN
pytorch
GitHub 中提及
mori97/CycleGAN-chainer
GitHub 中提及
pcummer/cycle-gan-keras
tf
GitHub 中提及
jtiger958/cyclegan-pytorch
pytorch
GitHub 中提及
AbhinavTalari/Night2Day
pytorch
GitHub 中提及
Adi-iitd/AI-Art
tf
GitHub 中提及
wonbeomjang/cyclegan-pytorch
pytorch
GitHub 中提及
VedantDere0104/Cycle_GAN
GitHub 中提及
lornatang/cyclegan-pytorch
pytorch
GitHub 中提及
icon-lab/pflsynth
pytorch
GitHub 中提及
yunjey/mnist-svhn-transfer
pytorch
GitHub 中提及
Wenchao-Du/LIR-for-Unsupervised-IR
pytorch
GitHub 中提及
QXL4515/CAGFuzz
GitHub 中提及
tomgillooly/geogan
pytorch
GitHub 中提及
Emir-Liu/Cycle-GAN
pytorch
GitHub 中提及
cvfx-2019/homework1-color-transfer
pytorch
GitHub 中提及
spiridonoff/Monet
GitHub 中提及
gagan16/Cyclegan-tensorflow
tf
GitHub 中提及
lyonling/pix2pix
GitHub 中提及
sanjsvk/CycleGANs
GitHub 中提及
Our4514/CAGFUZZ
GitHub 中提及
uzielroy/CUT
pytorch
GitHub 中提及
arnavdodiedo/dog2sketch
GitHub 中提及
RezisEwig/cyclegan
tf
GitHub 中提及
cvp19g2/cvp19g2
pytorch
GitHub 中提及
AverageName/Cycle_gan_pytorch
pytorch
GitHub 中提及
itsuki8914/CycleGAN-TF
tf
GitHub 中提及
xw-hu/Mask-ShadowGAN
pytorch
GitHub 中提及
Nirav-Agarwal/GANs
pytorch
GitHub 中提及
sergeisoly/CycleGAN
pytorch
GitHub 中提及
tollymune/CycleGAN-PyTorch
pytorch
GitHub 中提及
Pavan-pk/ArtGan_Realism
GitHub 中提及
T-C-J/shuiying
tf
GitHub 中提及
Jay0505/CycleGAN
tf
GitHub 中提及
ls4gan/benchmarking
pytorch
GitHub 中提及
VyshnaviSK/Face2Mask-CycleGAN
pytorch
GitHub 中提及
mid-push/irwgan
pytorch
GitHub 中提及
mickan123/CycleGAN
tf
GitHub 中提及
yangyucheng000/CycleGan
mindspore
GitHub 中提及
Feynman1999/MgeEditing
GitHub 中提及
eriklindernoren/Keras-GAN
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-184
mindspore
GitHub 中提及
gcwl/pytorch-cyclegan
pytorch
GitHub 中提及
Sontref/CycleGAN
pytorch
GitHub 中提及
NDCHIRO/Cartoonizer
tf
GitHub 中提及
leehomyc/cyclegan-1
tf
GitHub 中提及
eriklindernoren/PyTorch-GAN
pytorch
GitHub 中提及
Qi-Xian/color-transfer_HW1
pytorch
GitHub 中提及
2023-MindSpore-1/ms-code-134
mindspore
GitHub 中提及
lukeandshuo/IR2VI_journal
pytorch
GitHub 中提及
yex666/cyclegan-in-mindspore
mindspore
GitHub 中提及
AverageName/UI2IT
pytorch
GitHub 中提及
nhannguyencsd/vision_cyclegan
pytorch
GitHub 中提及
Ritam9/CycleGAN
pytorch
GitHub 中提及
mronta/CycleGAN-in-Keras
GitHub 中提及
JL321/CycleGAN
tf
GitHub 中提及
mehdibnc/Cycle-GAN
GitHub 中提及
vanhuyz/CycleGAN-TensorFlow
tf
GitHub 中提及
TJJTJJTJJ/pytorch_CycleGAN_frame
pytorch
GitHub 中提及
carnotaur/CycleGAN
pytorch
GitHub 中提及
Atharva-Phatak/Season-Transfer
pytorch
GitHub 中提及
arnab39/cycleGAN-PyTorch
pytorch
GitHub 中提及
NiucunCode/Deep-Learning-proj2
pytorch
GitHub 中提及
FiveEyes/CycleGAN
pytorch
GitHub 中提及
mlvc-lab/CycleGan_pytorch
pytorch
GitHub 中提及
T-C-J/GAN
tf
GitHub 中提及
mehdidc/any2any
pytorch
GitHub 中提及
ahmedbesbes/cycle-gan
pytorch
GitHub 中提及
zhuo931077127/CycleGAN_practice
pytorch
GitHub 中提及
ashura1234/soccer-line-detection
pytorch
GitHub 中提及
onedayatatime0923/Cycle_Mcd_Gan
pytorch
GitHub 中提及
abhishtagatya/paintgan
tf
GitHub 中提及
CoryRJ/cycleGAN
tf
GitHub 中提及
xxlya/CycleGAN
pytorch
GitHub 中提及
Eyyub/tensorflow-cyclegan
tf
GitHub 中提及
JohanYe/CycleGAN-Pokemon
pytorch
GitHub 中提及
kzkymur/transition
pytorch
GitHub 中提及
junyanz/pytorch-CycleGAN-and-pix2pix
官方
pytorch
GitHub 中提及
Yougunhee/cycleGAN
tf
GitHub 中提及
YiteWang/CS547-final-project
pytorch
GitHub 中提及
daintlab/ct-denoising
tf
GitHub 中提及
stqc/Simple_CycleGAN_pytorch
pytorch
GitHub 中提及
Lornatang/PyTorch-CycleGAN
pytorch
GitHub 中提及
NathanDeMaria/AugmentedCycleGAN
pytorch
GitHub 中提及
misuy/misuy_style_transfer_bot
pytorch
GitHub 中提及
fuenwang/CVFX-hw1
pytorch
GitHub 中提及
anjalipemmaraju/cyclegan
pytorch
GitHub 中提及
yxue3357/Mask-CycleGAN
pytorch
GitHub 中提及
elsa9421/cyclegan_readable
pytorch
GitHub 中提及
yxue3357/CycleGAN_tf
tf
GitHub 中提及
ZC119/Handwritten-CycleGAN
pytorch
GitHub 中提及
kaminyou/urust
pytorch
GitHub 中提及
taivu1998/GANime
tf
GitHub 中提及
xhujoy/CycleGAN-tensorflow
tf
GitHub 中提及

基准测试

基准方法指标
image-to-image-translation-on-cityscapesCycleGAN
Class IOU: 0.11
Per-class Accuracy: 17%
Per-pixel Accuracy: 52%
image-to-image-translation-on-cityscapes-1CycleGAN
Class IOU: 0.16
Per-class Accuracy: 22%
Per-pixel Accuracy: 58%
image-to-image-translation-on-horse2zebraCycleGAN
Frechet Inception Distance: 89.7
Number of params: 28.2M
image-to-image-translation-on-photo2vangoghCycleGAN
Frechet Inception Distance: 151.4
Number of params: 28.2M
image-to-image-translation-on-rafdCycleGAN
Classification Error: 5.99%
image-to-image-translation-on-vangogh2photoCycleGAN
Frechet Inception Distance: 163.4
Number of Params: 28.2M
image-to-image-translation-on-zebra2horseCycleGAN
Frechet Inception Distance: 110.5
Number of params: 28.2M
multimodal-unsupervised-image-to-imageCycleGAN
CIS: 0.076
IS: 0.813
multimodal-unsupervised-image-to-image-1CycleGAN
Diversity: 0.012
Quality: 40.8%
multimodal-unsupervised-image-to-image-2CycleGAN
Diversity: 0.010
Quality: 36.0%
multimodal-unsupervised-image-to-image-3cycGAN
PSNR: 17.38
unsupervised-image-to-image-translation-on-1cycGAN
PSNR: 18.57

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用循环一致性对抗网络的非配对图像到图像转换 | 论文 | HyperAI超神经