摘要

为了真正理解视觉世界，我们的模型不仅应该能够识别图像，还应该能够生成图像。为此，最近在从自然语言描述生成图像方面取得了令人兴奋的进展。这些方法在有限的领域内（如鸟类或花卉的描述）取得了惊人的效果，但在忠实再现包含多个对象和复杂关系的句子时仍面临挑战。为克服这一局限性，我们提出了一种基于场景图生成图像的方法，该方法能够显式地推理对象及其关系。我们的模型利用图卷积来处理输入图，通过预测对象的边界框和分割掩码来计算场景布局，并使用级联细化网络将布局转换为图像。网络通过对抗一对判别器进行训练，以确保输出的真实感。我们在Visual Genome和COCO-Stuff数据集上验证了我们的方法，定性和消融实验以及用户研究均表明，我们的方法能够生成包含多个对象的复杂图像。