摘要

文本到图像合成的目标是生成与给定文本描述相匹配的视觉上逼真的图像。在实际应用中，同一图像由人类标注的描述在内容和用词选择上存在较大差异。相同图像的不同描述之间存在的语言差异，会导致生成的图像偏离真实图像（ground truth）。为解决这一问题，本文提出一种对比学习方法，以提升合成图像的质量并增强其语义一致性。在预训练阶段，我们利用对比学习方法，学习同一图像对应多个描述之间的一致性文本表示；在后续的生成对抗网络（GAN）训练阶段，进一步采用对比学习机制，增强由同一图像相关描述生成的图像之间的语义一致性。我们在两个主流的文本到图像合成模型——AttnGAN 和 DM-GAN 上，分别在 CUB 和 COCO 数据集上对所提方法进行了评估。实验结果表明，该方法在 IS（Inception Score）、FID（Fréchet Inception Distance）和 R-precision 三个指标上均能有效提升合成图像的质量。尤其在具有挑战性的 COCO 数据集上，相较于 AttnGAN，FID 指标显著提升 29.60%；相较于 DM-GAN，提升达 21.96%。