摘要

组合图像检索（CIR）通过将查询表示为参考图像和修改文本的组合，因其增强的捕捉用户意图的能力而成为一种新的图像搜索形式。然而，以监督方式训练CIR模型通常需要大量的人工收集（参考图像、文本修饰符、目标图像）三元组。尽管现有的零样本CIR（ZS-CIR）方法消除了对特定下游数据集进行训练的需求，但它们仍然需要在大规模图像数据集上进行额外的预训练。在本文中，我们介绍了一种无需训练的ZS-CIR方法。我们的方法——基于加权模态融合和相似性的CIR（WeiMoCIR）——假设图像和文本模态可以通过简单的加权平均有效结合。这使得查询表示可以直接从参考图像和文本修饰符构建。为了进一步提高检索性能，我们利用多模态大语言模型（MLLMs）生成数据库图像的标题，并通过加权平均将这些文本标题与图像信息结合，纳入相似性计算中。我们的方法简单易实现，并且其有效性已在FashionIQ和CIRR数据集上的实验中得到验证。代码可在https://github.com/whats2000/WeiMoCIR 获取。