摘要

尽管近年来基于扩散模型（Diffusion Models, DMs）和生成对抗网络（Generative Adversarial Networks, GANs）等深度生成模型在图像生成能力上取得了显著进步，但其性能的提升在很大程度上依赖于计算开销巨大的网络架构。这使得这些模型的部署和应用主要局限于拥有大量资源的研究机构和企业，同时大幅增加了训练、微调和推理过程中的碳足迹。本文提出一种新型GAN架构——LadaGAN，其核心基于一种名为Ladaformer的线性注意力Transformer模块。该模块的主要组成部分是一种线性加性注意力机制，与传统Transformer中按头计算二次项点积注意力不同，它仅需为每个注意力头生成一个线性复杂度的单一注意力向量。我们将Ladaformer同时应用于生成器和判别器中，有效降低了计算复杂度，并缓解了Transformer-GAN常面临的训练不稳定性问题。在多个基准数据集上，LadaGAN在不同分辨率下均显著优于现有的卷积型与Transformer型GAN，且计算效率大幅提升。此外，LadaGAN在生成质量上与当前最先进的多步生成模型（如扩散模型）相当，但所消耗的计算资源仅为后者的数个数量级，展现出极高的能效比。