Yuhta TakidaMasaaki ImaizumiTakashi ShibuyaChieh-Hsin LaiToshimitsu UesakaNaoki MurataYuki Mitsufuji

摘要
生成对抗网络(GANs)通过优化生成器与判别器的极小极大目标函数,学习目标概率分布。本文探讨了一个核心问题:这种优化是否确实为生成器提供了使生成分布逼近目标分布的梯度?我们推导出可度量的条件,并给出了判别器能够作为分布间距离度量的充分条件,该结论通过将GAN的构造与切片最优传输(sliced optimal transport)理论相联系而获得。基于这些理论结果,我们提出了一种新型GAN训练方法,称为切片对抗网络(Slicing Adversarial Network, SAN)。仅需进行简单的修改,现有广泛使用的各类GAN模型均可转化为SAN。在合成数据集与图像数据集上的实验结果验证了我们的理论分析,并表明SAN相较于传统GAN具有更优的性能表现。此外,我们将SAN应用于StyleGAN-XL,在ImageNet 256×256数据集上的类别条件生成任务中,取得了当前GAN模型中的最优FID得分。相关代码已公开,可访问 https://ytakida.github.io/san 获取。
代码仓库
sony/san
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-cifar-10 | StyleSAN-XL | FID: 1.36 |
| image-generation-on-ffhq-1024-x-1024 | StyleSAN-XL | FID: 1.61 |
| image-generation-on-ffhq-256-x-256 | StyleSAN-XL | FID: 1.68 |
| image-generation-on-ffhq-512-x-512 | StyleSAN-XL | FID: 1.77 |
| image-generation-on-imagenet-256x256 | StyleSAN-XL | FID: 2.14 |