
摘要
尽管生成对抗网络(GANs)在图像合成任务中取得了巨大成功,但它们在适应不同数据集时仍然非常困难,部分原因是训练过程中的不稳定性和对超参数的敏感性。一个普遍接受的导致这种不稳定性的原因是,当真实分布和支持伪造分布之间的重叠不足时,从判别器传递到生成器的梯度变得无信息。在这项工作中,我们提出了多尺度梯度生成对抗网络(MSG-GAN),这是一种简单而有效的技术,通过允许判别器向生成器在多个尺度上传递梯度来解决这一问题。该技术为高分辨率图像合成提供了一种稳定的方法,并作为常用的渐进式增长技术的一种替代方案。我们展示了MSG-GAN在不同大小、分辨率和领域的图像数据集上以及不同类型损失函数和架构下均能稳定收敛,且所有实验均使用同一组固定的超参数。与最先进的GANs相比,我们的方法在大多数尝试的情况下都能达到或超过其性能。
代码仓库
akanimax/msg-stylegan-tf
官方
tf
GitHub 中提及
manicman1999/StyleGAN-Tensorflow-2.0
tf
GitHub 中提及
denizalperacar/MSG-GAN
pytorch
GitHub 中提及
akanimax/BMSG-GAN
pytorch
GitHub 中提及
Iceland-Leo/Style-MSG-GAN
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-celeba-hq-1024x1024 | MSG-StyleGAN | FID: 6.37 |
| image-generation-on-ffhq | MSG-StyleGAN | Clean-FID (70k): 6.51 |
| image-generation-on-ffhq-1024-x-1024 | MSG-StyleGAN | FID: 5.8 |
| image-generation-on-indian-celebs-256-x-256 | MSG-StyleGAN | FID: 28.44 |
| image-generation-on-lsun-churches-256-x-256 | MSG-StyleGAN | Clean-FID (trainfull): 5.38 ± 0.03 FID: 5.2 |
| image-generation-on-oxford-102-flowers-256-x | MSG-StyleGAN | FID: 19.60 |