3 个月前

使用有限数据训练生成对抗网络

使用有限数据训练生成对抗网络

摘要

在数据量有限的情况下训练生成对抗网络(GAN)通常会导致判别器过拟合,进而引发训练发散。为此,我们提出了一种自适应判别器增强机制,能够显著提升在小样本场景下的训练稳定性。该方法无需修改损失函数或网络架构,既适用于从零开始训练,也适用于在新数据集上微调已有GAN模型。我们在多个数据集上的实验表明,仅需数千张训练图像即可获得良好效果,其性能通常可与StyleGAN2相当,且所需图像数量少一个数量级。这一进展有望拓展GAN在新应用领域的适用性。此外,我们发现广泛使用的CIFAR-10实际上是一个小样本基准数据集,并在此基础上将FID指标从5.59提升至2.42,刷新了该数据集上的最佳记录。

代码仓库

NariMo91/GANs-generative-art
pytorch
GitHub 中提及
NVlabs/stylegan2-ada
官方
tf
GitHub 中提及
mahmoudnafifi/HistoGAN
pytorch
GitHub 中提及
pbaylies/stylegan2
tf
GitHub 中提及
NVlabs/stylegan2-ada-pytorch
pytorch
GitHub 中提及
fai07600521/final-project
pytorch
GitHub 中提及
matjazmav/fri-2021-ibb-seminar
pytorch
GitHub 中提及
buganart/stylegan2-ada-pytorch
pytorch
GitHub 中提及
lelechen63/stylegannerf
pytorch
GitHub 中提及
jiangshuyi0v0/cvd-gan
pytorch
GitHub 中提及
sh4174/3d-stylegan2-ada
tf
GitHub 中提及
vsemecky/stylegan2-ada
tf
GitHub 中提及
Eitan177/testGenImages
pytorch
GitHub 中提及
eps696/stylegan2ada
pytorch
GitHub 中提及
duskvirkus/stylegan2-ada-lightning
pytorch
GitHub 中提及
usufyan29/stylegan2_runway
tf
GitHub 中提及
sangyun884/Face2Webtoon
pytorch
GitHub 中提及
wangamelia/cmpm202p2p2
tf
GitHub 中提及
woctezuma/steam-stylegan2-ada
pytorch
GitHub 中提及

基准测试

基准方法指标
conditional-image-generation-on-artbench-10StyleGAN2 + ADA
FID: 2.625
conditional-image-generation-on-cifar-10StyleGAN2-ADA
FID: 2.42
Inception score: 10.14
image-generation-on-afhq-catStyleGAN2-ADA
FID: 3.55
clean-FID: 3.28 ± .02
clean-KID: 0.71 ± .02
image-generation-on-afhq-dogStyleGAN2-ADA
FID: 7.41
clean-FID: 7.61 ± .02
clean-KID: 1.28 ± .02
image-generation-on-afhq-wildStyleGAN2-ADA
FID: 3.05
clean-FID: 3.00 ± .01
clean-KID: 0.44 ± .01
image-generation-on-ffhq-1024-x-1024StyleGAN2 ADA+bCR
FID: 3.62
image-generation-on-ffhq-256-x-256StyleGAN2 + ADA (DINOv2)
FD: 514.78
Precision: 0.59
Recall: 0.06
image-generation-on-ffhq-256-x-256StyleGAN2 + ADA
FID: 3.62
image-generation-on-pokemon-256x256StyleGAN2-ADA
FID: 40.38

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
使用有限数据训练生成对抗网络 | 论文 | HyperAI超神经