HyperAIHyperAI

Command Palette

Search for a command to run...

基于对比学习的文本到图像合成性能提升

Hui Ye Xiulong Yang Martin Takac Rajshekhar Sunderraman Shihao Ji

摘要

文本到图像合成的目标是生成与给定文本描述相匹配的视觉上逼真的图像。在实际应用中,同一图像由人类标注的描述在内容和用词选择上存在较大差异。相同图像的不同描述之间存在的语言差异,会导致生成的图像偏离真实图像(ground truth)。为解决这一问题,本文提出一种对比学习方法,以提升合成图像的质量并增强其语义一致性。在预训练阶段,我们利用对比学习方法,学习同一图像对应多个描述之间的一致性文本表示;在后续的生成对抗网络(GAN)训练阶段,进一步采用对比学习机制,增强由同一图像相关描述生成的图像之间的语义一致性。我们在两个主流的文本到图像合成模型——AttnGAN 和 DM-GAN 上,分别在 CUB 和 COCO 数据集上对所提方法进行了评估。实验结果表明,该方法在 IS(Inception Score)、FID(Fréchet Inception Distance)和 R-precision 三个指标上均能有效提升合成图像的质量。尤其在具有挑战性的 COCO 数据集上,相较于 AttnGAN,FID 指标显著提升 29.60%;相较于 DM-GAN,提升达 21.96%。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于对比学习的文本到图像合成性能提升 | 论文 | HyperAI超神经