4 个月前

理解图像检索重排序:图神经网络的视角

理解图像检索重排序:图神经网络的视角

摘要

重排序方法利用高置信度检索样本对检索结果进行精炼,已在图像检索任务中被广泛用作后处理工具。然而,我们注意到重排序的一个主要缺陷,即计算复杂度高,这导致在实际应用中时间成本过高而难以承受。本文重新审视了重排序方法,并证明了重排序可以被重新表述为具有高并行性的图神经网络(GNN)函数。具体而言,我们将传统的重排序过程分为两个阶段:检索高质量的库样本和更新特征。我们认为第一阶段相当于构建k近邻图,而第二阶段则可以视为在图内传播消息。在实际应用中,GNN只需关注具有连接边的顶点。由于图是稀疏的,我们可以高效地更新顶点特征。在Market-1501数据集上,我们使用一块K40m GPU将重排序处理时间从89.2秒加速到9.4毫秒,从而实现了实时后处理。类似地,我们在其他四个图像检索基准数据集(VeRi-776、Oxford-5k、Paris-6k和University-1652)上观察到,我们的方法在有限的时间成本下达到了可比甚至更好的检索效果。我们的代码已公开发布。

代码仓库

Xuanmeng-Zhang/gnn-re-ranking
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
drone-view-target-localization-on-university-1GNN-Reranking
AP: 74.11
Recall@1: 70.3
image-retrieval-on-oxford5kGNN-Reranking
mAP: 92.95
image-retrieval-on-paris6kGNN-Reranking
mAP: 96.21
person-re-identification-on-market-1501GNN-Reranking
Rank-1: 96.11
mAP: 94.65

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
理解图像检索重排序:图神经网络的视角 | 论文 | HyperAI超神经