摘要

在本文中，我们提出了一种自注意力生成对抗网络（Self-Attention Generative Adversarial Network, SAGAN），该网络允许在图像生成任务中进行基于注意力的长距离依赖建模。传统的卷积生成对抗网络（GAN）生成高分辨率细节时，仅依赖于低分辨率特征图中的空间局部点。而在SAGAN中，细节可以利用来自所有特征位置的线索进行生成。此外，判别器可以检查图像远端部分的高度详细特征是否相互一致。近期的研究表明，生成器条件对GAN性能有显著影响。基于这一见解，我们将谱归一化应用于GAN生成器，并发现这改善了训练动态。所提出的SAGAN在具有挑战性的ImageNet数据集上取得了最先进的结果，将最佳已发表的Inception分数从36.8提升至52.52，并将Fréchet Inception距离从27.62降低至18.65。对注意力层的可视化显示，生成器利用的是与物体形状相对应的邻域，而不是固定形状的局部区域。