摘要

本文专注于从文本描述生成逼真图像。当前的方法首先生成一个具有大致形状和颜色的初始图像，然后将该初始图像精炼为高分辨率图像。现有的大多数文本到图像合成方法存在两个主要问题：(1) 这些方法严重依赖初始图像的质量。如果初始图像未能良好初始化，后续过程很难将其精炼至令人满意的质量。(2) 在描绘不同图像内容时，每个单词的重要性各不相同，然而现有图像精炼过程中使用的文本表示却保持不变。在本文中，我们提出了一种动态记忆生成对抗网络（DM-GAN），以生成高质量的图像。所提出的方法引入了一个动态记忆模块，当初始图像未能良好生成时，该模块可以用于精炼模糊的图像内容。设计了一个记忆写入门机制，根据初始图像的内容选择重要的文本信息，从而使得我们的方法能够准确地从文本描述生成图像。此外，我们还利用了一个响应门机制来自适应地融合从记忆中读取的信息和图像特征。我们在Caltech-UCSD鸟类200数据集和Microsoft上下文中的常见物体数据集上评估了DM-GAN模型。实验结果表明，我们的DM-GAN模型在性能上优于现有的最先进方法。