摘要

实例级图像检索是指在大规模图像数据库中搜索与查询图像中特定对象相匹配的图像。为实现该任务，现有系统通常依赖于使用全局图像描述符的检索步骤，随后通过基于局部特征的几何验证等操作，进行领域特定的精炼或重排序。在本工作中，我们提出了一种通用模型——重排序变换器（Reranking Transformers, RRTs），通过监督方式融合局部与全局特征，对匹配图像进行重排序，从而替代相对昂贵的几何验证过程。RRTs 模型轻量且易于并行化，能够在单次前向传播中完成对一组 top-匹配结果的重排序。我们在 Revisited Oxford 和 Paris 数据集以及 Google Landmarks v2 数据集上进行了大量实验，结果表明，RRTs 在显著减少局部描述符使用数量的同时，性能优于以往的重排序方法。此外，我们还证明，与现有方法不同，RRTs 可以与特征提取器联合优化，从而生成更适配下游任务的特征表示，并进一步提升检索精度。相关代码与训练好的模型已公开发布于 https://github.com/uvavision/RerankingTransformer。