摘要

尽管多模态检索的需求迅速增长，该领域的进展仍严重受限于训练数据的匮乏。本文提出了一种名为MegaPairs的新颖数据合成方法，该方法利用视觉语言模型（VLMs）与开放域图像，生成了一个大规模的合成数据集。实证分析表明，MegaPairs能够生成高质量的数据，使得基于该数据训练的多模态检索模型，在性能上显著超越仅使用现有数据集70倍数据量训练的基线模型。此外，由于MegaPairs仅依赖通用图像语料库和开源视觉语言模型，具备良好的可扩展性，能够持续推动检索性能的提升。在当前阶段，我们已生成超过2600万条训练样本，并基于此数据集训练了多个不同规模的模型。这些新模型在4个主流的组合图像检索（CIR）基准测试中均达到当前最优的零样本性能，并在MMEB提供的36个数据集上取得了整体最高表现。同时，这些模型在后续的下游微调中也展现出显著的性能提升。我们所构建的数据集、训练完善的模型以及数据合成流程将全部公开，以推动该领域的未来发展。