摘要

生成对抗网络（GANs）在训练数据有限的情况下，性能会显著下降。其主要原因在于判别器倾向于对训练集进行记忆。为应对这一问题，我们提出了一种简单而有效的方法——可微分增强（Differentiable Augmentation, DiffAugment），该方法通过对真实样本和生成样本施加多种可微分的数据增强操作，显著提升了GAN的数据利用效率。以往直接对训练数据进行增强的方法会改变真实图像的分布，效果有限；而DiffAugment则允许对生成样本应用可微分增强，有效稳定了训练过程，并促进了更优的收敛。实验结果表明，该方法在多种GAN架构及损失函数下，无论是无条件生成还是类别条件生成任务中，均表现出一致的性能提升。在ImageNet 128×128数据集上，采用DiffAugment可达到6.80的FID分数和100.8的IS分数，达到当前最优水平；在FFHQ和LSUN数据集上，仅使用1,000张图像即可实现FID分数2至4倍的降低。此外，仅使用20%的训练数据，即可在CIFAR-10和CIFAR-100上达到顶尖性能。最终，该方法仅需100张图像即可生成高保真图像，且无需预训练，其表现与现有的迁移学习算法相当。相关代码已开源，地址为：https://github.com/mit-han-lab/data-efficient-gans。