
摘要
我们提出了一种新的实例级图像检索方法。该方法通过聚合多个区域描述符,为每张图像生成一个全局且紧凑的固定长度表示。与以往将预训练的深度网络作为黑箱来生成特征的方法不同,我们的方法利用了专门为图像检索任务训练的深度架构。我们的贡献有两方面:(i) 我们利用排序框架学习用于构建区域特征的卷积和投影权重;(ii) 我们使用区域提议网络学习哪些区域应该被池化以形成最终的全局描述符。我们证明了使用干净的训练数据对于我们的方法的成功至关重要。为此,我们使用了一个大规模但带有噪声的地标数据集,并开发了一种自动清理方法。所提出的架构可以在一次前向传递中生成全局图像表示。在标准数据集上,我们的方法显著优于基于全局描述符的先前方法。即使与大多数基于昂贵的局部描述符索引和空间验证的前期工作相比,它也表现出色。更多材料可访问 www.xrce.xerox.com/Deep-Image-Retrieval 获取。
代码仓库
tensorflow/models
tf
GitHub 中提及
talal579/Deep-image-matching
GitHub 中提及
tensorflow/models/tree/master/research/delf
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-retrieval-on-oxf105k | DIR+QE* | MAP: 87.8% |
| image-retrieval-on-oxf5k | DIR+QE* | MAP: 89% |
| image-retrieval-on-par106k | DIR+QE* | mAP: 90.5% |
| image-retrieval-on-par6k | DIR+QE* | mAP: 93.8% |