摘要

尽管在无条件和有条件图像生成方面取得了显著进展，但学习能够从可重构的空间布局（即图像网格中的边界框+类别标签）和风格（即由潜在向量编码的结构和外观变化）生成逼真且清晰的图像的生成模型仍然是一个长期存在的问题，尤其是在高分辨率下。所谓“可重构”，是指模型能够在给定布局的情况下保留其内在的一对多映射关系，从而生成具有不同风格的多个合理图像，并且对于布局和风格潜在代码的扰动具有适应性。本文提出了一种基于布局和风格的生成对抗网络架构（称为LostGANs），该架构可以端到端地训练以从可重构布局和风格生成图像。受原始StyleGAN的启发，所提出的LostGAN包含两个新组件：(i) 以弱监督方式学习细粒度掩码图，以弥合布局与图像之间的差距；(ii) 在生成器中学习对象实例特定的布局感知特征归一化（ISLA-Norm），以实现多对象风格生成。实验结果表明，该方法在COCO-Stuff数据集和Visual Genome数据集上均达到了最先进的性能。代码和预训练模型可在以下网址获取：\url{https://github.com/iVMCL/LostGANs}。