摘要

图像描述（Image Captioning）是视觉-语言理解中的基础任务，其目标是为给定的输入图像生成具有信息量的文本描述。本文提出一种简洁有效的解决方案。我们通过一个简单的映射网络，将CLIP模型的图像编码作为图像描述的前缀，随后对语言模型进行微调，以生成图像描述。近期提出的CLIP模型蕴含丰富的语义特征，并在大规模文本上下文数据上进行训练，因此在视觉-语言感知任务中表现优异。本文的核心思想是：结合预训练的语言模型（如GPT-2），模型能够同时掌握视觉与文本数据的广泛语义理解。因此，我们的方法仅需较短时间的训练即可获得性能出色的图像描述生成模型。该方法无需额外标注数据或额外预训练，在大规模且多样化的数据集上能够高效生成语义合理的图像描述。令人惊讶的是，即使仅训练映射网络，而保持CLIP模型与语言模型冻结不变，该方法仍能取得良好效果，从而实现参数更少、结构更轻量的模型架构。通过定量评估，我们证明该模型在具有挑战性的Conceptual Captions和nocaps数据集上，性能可与当前最先进方法相媲美，同时具备结构更简单、训练更快、模型更轻量的优势。相关代码已开源，地址为：https://github.com/rmokady/CLIP_prefix_caption。