3 个月前

StyleGAN-XL:将StyleGAN扩展至大规模多样化数据集

StyleGAN-XL:将StyleGAN扩展至大规模多样化数据集

摘要

计算机图形学领域近年来涌现出大量以数据为中心的方法,用于实现逼真且可控的内容生成。其中,StyleGAN 在图像质量与可控性方面为生成建模设立了新标准。然而,当面对 ImageNet 等大规模非结构化数据集时,StyleGAN 的性能显著下降。这一现象被认为与其设计初衷——强调可控性——有关,因此先前研究普遍认为其架构限制了在多样化数据集上的适用性。与此相反,我们发现其性能瓶颈主要源于当前的训练策略。受近期提出的“投影生成对抗网络”(Projected GAN)范式启发,我们利用强大的神经网络先验知识与渐进式生长训练策略,成功在 ImageNet 数据集上训练了最新的 StyleGAN3 生成器。由此得到的最终模型——StyleGAN-XL,在大规模图像合成任务上达到了新的最先进水平,也是首个在如此大规模数据集上实现 $1024^2$ 分辨率图像生成的模型。我们进一步验证了该模型不仅能够对图像进行高效重建与编辑,还能超越人脸或特定物体类别等狭窄领域,实现更广泛场景下的图像逆向与编辑。

代码仓库

autonomousvision/stylegan-xl
pytorch
GitHub 中提及
autonomousvision/stylegan_xl
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
image-generation-on-ffhq-1024-x-1024StyleGAN-XL
FID: 2.02
image-generation-on-ffhq-256-x-256StyleGAN-XL (DINOv2)
FD: 240.07
Precision: 0.77
Recall: 0.43
image-generation-on-ffhq-256-x-256StyleGAN-XL
FID: 2.19
image-generation-on-ffhq-512-x-512StyleGAN-XL
FID: 2.41
image-generation-on-imagenet-128x128StyleGAN-XL
FID: 1.81
image-generation-on-imagenet-256x256StyleGAN-XL
FID: 2.30
image-generation-on-imagenet-32x32StyleGAN-XL
FID: 1.10
image-generation-on-imagenet-512x512StyleGAN-XL
FID: 2.40
image-generation-on-imagenet-64x64StyleGAN-XL
FID: 1.51
NFE: 1
image-generation-on-pokemon-1024x1024StyleGAN-XL
FID: 25.47
image-generation-on-pokemon-256x256StyleGAN-XL
FID: 23.97

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
StyleGAN-XL:将StyleGAN扩展至大规模多样化数据集 | 论文 | HyperAI超神经