4 个月前

CogView：通过Transformer掌握文本到图像生成技术

Ming Ding; Zhuoyi Yang; Wenyi Hong; Wendi Zheng; Chang Zhou; Da Yin; Junyang Lin; Xu Zou; Zhou Shao; Hongxia Yang; Jie Tang

摘要

文本到图像生成在通用领域一直是一个开放问题，它不仅需要一个强大的生成模型，还需要跨模态理解能力。我们提出了CogView，这是一个拥有40亿参数的Transformer模型，结合了VQ-VAE编码器来推进这一问题。此外，我们还展示了针对各种下游任务的微调策略，例如风格学习、超分辨率、文本-图像排序和时尚设计，并介绍了稳定预训练的方法，如消除NaN损失。CogView在模糊的MS COCO数据集上取得了最先进的FID分数，优于以往基于GAN的模型和最近类似的工作DALL-E。