摘要

超越了对自然语言长距离交互的学习，变压器（Transformers）正因其强大的能力和可扩展性成为许多视觉任务的事实标准。特别是在图像与文本之间的跨模态任务中，向量量化变分自编码器（VQ-VAEs）被广泛用于将原始RGB图像转换为特征向量序列。为了更好地利用图像与文本之间的相关性，我们提出了一种新的架构——L-Verse，该架构由特征增强变分自编码器（AugVAE）和双向自回归变压器（BiART）组成，用于图像到文本和文本到图像的生成。我们的AugVAE在ImageNet1K验证集上展示了最先进的重建性能，并且对野外未见过的图像具有鲁棒性。与其他模型不同，BiART可以区分图像（或文本）作为条件参考和生成目标。L-Verse可以直接用于图像到文本或文本到图像的生成，无需任何微调或额外的目标检测框架。在定量和定性实验中，L-Verse在MS-COCO Captions数据集上的图像到文本和文本到图像生成任务中均表现出色，优于以往的方法。此外，我们还评估了L-Verse架构在Conceptual Captions数据集上的可扩展性，并展示了其在通用领域双向视觉-语言表示学习方面的初步结果。