
摘要
现有的图像生成网络高度依赖空间卷积操作,并可选地结合自注意力模块,以自粗到细的方式逐步合成图像。本文提出一种新型图像生成架构,其中每个像素的色彩值均基于一个随机潜在向量的取值以及该像素的坐标独立计算得出。在图像合成过程中,不涉及任何空间卷积或类似在像素间传播信息的操作。我们分析了此类生成器在对抗训练下的建模能力,发现其生成质量可与当前最先进的卷积型生成器相媲美。此外,我们还探讨了该新型架构所具有的若干独特性质。
代码仓库
taki0112/CIPS-Tensorflow
tf
GitHub 中提及
saic-mdal/CIPS
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-generation-on-ffhq-1024-x-1024 | CIPS | FID: 10.07 |
| image-generation-on-ffhq-256-x-256 | CIPS | FID: 4.38 |
| image-generation-on-landscapes-256-x-256 | CIPS | FID: 3.61 |
| image-generation-on-lsun-churches-256-x-256 | CIPS | FID: 2.92 |
| image-generation-on-satellite-buildings-256-x | CIPS | FID: 69.67 |
| image-generation-on-satellite-landscapes-256 | CIPS | FID: 48.47 |