摘要

在这项工作中，我们提出了一种名为TediGAN的新框架，用于基于文本描述的多模态图像生成与操作。该方法由三个组件组成：StyleGAN反演模块、视觉-语言相似性学习和实例级优化。反演模块将真实图像映射到经过良好训练的StyleGAN的潜在空间中。视觉-语言相似性通过将图像和文本映射到一个共同的嵌入空间来学习文本-图像匹配。实例级优化则用于在图像操作过程中保持身份一致性。我们的模型可以生成多样且高质量的图像，其分辨率达到了前所未有的1024像素。利用基于风格混合的控制机制，我们的TediGAN天然支持带有或不带实例指导的多模态输入（如草图或语义标签）的图像合成。为了促进文本引导下的多模态合成，我们提出了Multi-Modal CelebA-HQ数据集，这是一个大规模的数据集，包含真实人脸图像及其对应的语义分割图、草图和文本描述。在所引入的数据集上进行的大量实验表明了我们所提出方法的优越性能。代码和数据可在https://github.com/weihaox/TediGAN获取。