3 个月前

投影GAN的收敛速度更快

投影GAN的收敛速度更快

摘要

生成对抗网络(GANs)能够生成高质量图像,但其训练过程极具挑战性,需要精细的正则化处理、大量的计算资源以及昂贵的超参数调优。为解决这些问题,我们提出将生成样本与真实样本投影至一个固定且预训练好的特征空间中。受启发于发现判别器无法充分利用预训练模型深层特征的观察,我们提出了一种更有效的策略,即在通道维度与不同分辨率之间混合特征。所提出的投影GAN(Projected GAN)显著提升了图像质量、样本效率与收敛速度。该方法可支持高达百万像素(one Megapixel)的图像分辨率,并在二十二个基准数据集上实现了当前最优的Fréchet Inception Distance(FID)性能。尤为重要的是,在相同计算资源条件下,Projected GAN达到此前最低FID值的速度提升了高达40倍,将实际运行时间从原先的5天缩短至不足3小时。

代码仓库

tsubota-kouga/ProjectedGAN
pytorch
GitHub 中提及
dome272/ProjectedGAN-pytorch
pytorch
GitHub 中提及

基准测试

基准方法指标
conditional-image-generation-on-artbench-10Projected GAN
FID: 11.837
image-generation-on-ade-indoorProjected GAN
FID: 6.7
image-generation-on-afhq-catProjected GAN
FID: 2.16
image-generation-on-afhq-dogProjected GAN
FID: 4.52
image-generation-on-afhq-wildProjected GAN
FID: 2.17
image-generation-on-cityscapesProjected GAN
FID-10k-training-steps: 3.41
image-generation-on-clevrProjected GAN
FID-5k-training-steps: 0.89
image-generation-on-cub-128-x-128Projected GAN
FID: 2.79
image-generation-on-ffhq-256-x-256Projected-GAN (Official)
FID: 3.39
Precision: 0.654
Recall: 0.464
image-generation-on-lsun-bedroom-256-x-256Projected GAN (DINOv2)
FD: 636.35
Precision: 0.80
Recall: 0.23
image-generation-on-lsun-bedroom-256-x-256Projected GAN
FID: 1.52
FID-10k-training-steps: 1.52
image-generation-on-lsun-cat-256-x-256Projected GAN
FID: 3.89
image-generation-on-lsun-churches-256-x-256Projected GAN
FID: 1.59
image-generation-on-lsun-horse-256-x-256Projected GAN
FID: 2.17
image-generation-on-oxford-102-flowers-256-xProjected GAN
FID: 3.86
image-generation-on-pokemon-1024x1024Projected GAN
FID: 33.96
image-generation-on-pokemon-256x256Projected GAN
FID: 26.36
image-generation-on-stanford-carsProjected GANs
FID: 2.09
image-generation-on-stanford-dogsProjected GAN
FID: 11.75

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
投影GAN的收敛速度更快 | 论文 | HyperAI超神经