摘要

组合图像检索根据多模态用户查询（包括参考图像和描述所需更改的修改文本）来搜索目标图像。现有的解决这一具有挑战性任务的方法学习从（参考图像，修改文本）对到图像嵌入的映射，然后在大型图像库中进行匹配。然而，尚未探索的一个方向是反向查询，即询问什么样的参考图像在经过文本描述的修改后会产生给定的目标图像？在这项工作中，我们提出了一种双向训练方案，该方案利用了这种反向查询，并且可以以最小的改动应用于现有的组合图像检索架构，从而提高了模型的性能。为了编码双向查询，我们在修改文本前添加了一个可学习的标记，该标记指定了查询的方向，然后微调文本嵌入模块的参数。除此之外，我们没有对网络架构做出其他任何改变。在两个标准数据集上的实验表明，我们的新方法在基于BLIP的基线模型上实现了性能提升，而该基线模型本身已经达到了有竞争力的性能水平。我们的代码已发布在 https://github.com/Cuberick-Orion/Bi-Blip4CIR。