摘要

近年来，图像生成技术的进展催生了强大的语义图像编辑工具。然而，现有方法要么仅限于单张图像的编辑，要么需要大量额外信息作为输入，难以全面支持各类编辑操作——包括语义概念的添加、修改或删除。为解决上述局限，我们提出SESAME，一种新型的生成器-判别器架构，用于通过添加、修改或删除物体实现场景的语义编辑。在该框架中，用户仅需提供待编辑区域的语义标签，生成器即可据此合成相应的像素内容。与以往方法中将语义信息与图像简单拼接作为判别器输入的做法不同，SESAME的判别器由两个独立的输入分支构成：一个分支独立处理图像内容，另一个分支处理语义信息，并利用语义信息对图像处理结果进行调制与控制。我们在多个多样化数据集上对模型进行了评估，结果表明，SESAME在两项任务上均达到了当前最优性能：（a）图像编辑与操控；（b）基于语义标签的图像生成。