
摘要
在高保真图像上训练生成对抗网络(GAN)通常需要大规模GPU集群以及海量训练图像。本文研究了在计算成本最低的前提下,针对GAN的少样本图像生成任务。我们提出了一种轻量级GAN结构,在1024×1024分辨率下实现了优异的生成质量。值得注意的是,该模型仅需在单张RTX-2080 GPU上进行数小时的训练即可从零开始收敛,并且在训练样本少于100张的情况下仍能保持稳定一致的性能表现。本工作的核心由两项技术设计构成:一种跳跃连接的通道级激励模块,以及一个以特征编码器方式训练的自监督判别器。我们在涵盖多种图像领域的十三个数据集上进行了实验(数据集与代码已公开于:https://github.com/odegeasslbc/FastGAN-pytorch),结果表明,在数据量和计算资源均受限的情况下,本模型在性能上显著优于当前最先进的StyleGAN2。
代码仓库
reyllama/mixdl
pytorch
GitHub 中提及
lucidrains/lightweight-gan
pytorch
palandr1234/exploring-gan-latent-spaces
pytorch
GitHub 中提及
milmor/self-supervised-gan
tf
GitHub 中提及
odegeasslbc/FastGAN-pytorch
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-ade-indoor | FastGAN | FID: 30.33 |
| image-generation-on-pokemon-1024x1024 | FastGAN | FID: 56.46 |
| image-generation-on-pokemon-256x256 | FastGAN | FID: 81.86 |