3 个月前

全局特征足以用于图像检索与重排序

全局特征足以用于图像检索与重排序

摘要

图像检索系统传统上采用两阶段范式,即利用全局特征进行初步检索,并通过局部特征进行重排序。然而,由于重排序阶段涉及局部特征匹配,导致存储与计算开销巨大,该方法的可扩展性往往受到限制。本文提出一种名为SuperGlobal的新方法,该方法在两个阶段均仅依赖全局特征,从而在不牺牲准确率的前提下显著提升效率。SuperGlobal对检索系统进行了关键改进,重点聚焦于全局特征提取与重排序过程。在特征提取阶段,我们发现将广泛使用的ArcFace损失函数与广义均值(Generalized Mean, GeM)池化方法结合时存在次优性能,因此提出若干新模块以优化GeM池化过程。在重排序阶段,我们引入一种新颖的方法:仅通过少量图像对查询图像及排名靠前的图像进行特征精炼,即可更新其全局特征,从而实现极高的计算与内存效率。实验结果表明,SuperGlobal在标准基准测试中相较当前最先进方法取得显著提升。特别地,在Revisited Oxford+1M Hard数据集上,单阶段结果提升达7.1%;而两阶段方案在实现64,865倍加速的同时,性能提升达到3.7%。此外,我们的两阶段系统超越当前最先进的单阶段方法16.3%,为高性能图像检索系统提供了一种高效、可扩展且准确的替代方案,同时仅带来极小的时间开销。代码地址:https://github.com/ShihaoShao-GH/SuperGlobal

代码仓库

shihaoshao-gh/superglobal
官方
pytorch
GitHub 中提及
edwardguil/CVNet
pytorch
GitHub 中提及

基准测试

基准方法指标
image-retrieval-on-roxford-hardSuperGlobal
mAP: 80.2
image-retrieval-on-rparis-hardSuperGlobal
mAP: 86.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
全局特征足以用于图像检索与重排序 | 论文 | HyperAI超神经