摘要

我们研究了仅在训练时使用CLIP模型和额外文本数据而不使用额外带注释图像的图像描述生成任务。我们的方法基于CLIP被训练用于使视觉和文本嵌入相似这一事实。因此，我们只需要学习如何将CLIP的文本嵌入转换回文本，而这一点可以通过仅使用文本数据来学习一个针对冻结的CLIP文本编码器的解码器来实现。我们认为这种直觉“几乎正确”，但存在嵌入空间之间的差距，为此我们提出通过在训练过程中注入噪声来纠正这一问题。我们通过在四个基准测试中展示最先进的零样本图像描述生成效果（包括风格迁移）来证明我们方法的有效性。代码、数据和模型已在GitHub上提供。