
摘要
计算机图形学领域近年来涌现出大量以数据为中心的方法,用于实现逼真且可控的内容生成。其中,StyleGAN 在图像质量与可控性方面为生成建模设立了新标准。然而,当面对 ImageNet 等大规模非结构化数据集时,StyleGAN 的性能显著下降。这一现象被认为与其设计初衷——强调可控性——有关,因此先前研究普遍认为其架构限制了在多样化数据集上的适用性。与此相反,我们发现其性能瓶颈主要源于当前的训练策略。受近期提出的“投影生成对抗网络”(Projected GAN)范式启发,我们利用强大的神经网络先验知识与渐进式生长训练策略,成功在 ImageNet 数据集上训练了最新的 StyleGAN3 生成器。由此得到的最终模型——StyleGAN-XL,在大规模图像合成任务上达到了新的最先进水平,也是首个在如此大规模数据集上实现 $1024^2$ 分辨率图像生成的模型。我们进一步验证了该模型不仅能够对图像进行高效重建与编辑,还能超越人脸或特定物体类别等狭窄领域,实现更广泛场景下的图像逆向与编辑。
代码仓库
autonomousvision/stylegan-xl
pytorch
GitHub 中提及
autonomousvision/stylegan_xl
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-ffhq-1024-x-1024 | StyleGAN-XL | FID: 2.02 |
| image-generation-on-ffhq-256-x-256 | StyleGAN-XL (DINOv2) | FD: 240.07 Precision: 0.77 Recall: 0.43 |
| image-generation-on-ffhq-256-x-256 | StyleGAN-XL | FID: 2.19 |
| image-generation-on-ffhq-512-x-512 | StyleGAN-XL | FID: 2.41 |
| image-generation-on-imagenet-128x128 | StyleGAN-XL | FID: 1.81 |
| image-generation-on-imagenet-256x256 | StyleGAN-XL | FID: 2.30 |
| image-generation-on-imagenet-32x32 | StyleGAN-XL | FID: 1.10 |
| image-generation-on-imagenet-512x512 | StyleGAN-XL | FID: 2.40 |
| image-generation-on-imagenet-64x64 | StyleGAN-XL | FID: 1.51 NFE: 1 |
| image-generation-on-pokemon-1024x1024 | StyleGAN-XL | FID: 25.47 |
| image-generation-on-pokemon-256x256 | StyleGAN-XL | FID: 23.97 |