
摘要
现有的流形学习方法并不适合图像检索任务,因为大多数方法无法处理查询图像,并且在大规模数据库中存在较高的额外计算成本。因此,我们提出了一种迭代流形嵌入(Iterative Manifold Embedding, IME)层,其权重通过无监督策略离线学习,以利用不完整数据探索内在流形。在包含27000张图像的大规模数据库中,IME层在查询时嵌入原始表示的速度比其他流形学习方法快120倍以上。在离线学习阶段,我们将位于高维空间流形上的数据库图像的原始描述符逐步嵌入到基于流形的表示中,生成IME表示。根据数据库图像的原始描述符和IME表示,我们通过岭回归估计IME层的权重。在在线检索阶段,我们使用IME层将查询图像的原始表示映射为IME表示,所需时间成本可忽略不计(2毫秒)。我们在五个公开的标准数据集上进行了图像检索实验。所提出的IME层显著优于相关的降维方法和流形学习方法。无需后处理的情况下,我们的IME层在大多数数据集上实现了对现有最先进的图像检索方法(带有后处理)性能的提升,并且需要更低的计算成本。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-retrieval-on-instre | IME layer | MAP: 82.4 |
| image-retrieval-on-oxf105k | SIFT+IME layer | MAP: 31.3% |
| image-retrieval-on-oxf105k | CNN+IME layer | MAP: 87.2% |
| image-retrieval-on-oxf5k | IsoMap [32] | MAP: 77.9% |
| image-retrieval-on-oxf5k | PCA [51] | MAP: 82.6% |
| image-retrieval-on-oxf5k | SIFT+IME layer | MAP: 62.2% |
| image-retrieval-on-oxf5k | LLE [33] | MAP: 51.7% |
| image-retrieval-on-oxf5k | IME | MAP: 83.5% |
| image-retrieval-on-oxf5k | CNN+IME layer | MAP: 92% |
| image-retrieval-on-paris6k | IME layer | mAP: 96.6 |