4 个月前

基于积分最大池化的CNN激活的目标检索

基于积分最大池化的CNN激活的目标检索

摘要

最近的研究表明,基于卷积神经网络(Convolutional Neural Network, CNN)构建的图像表示能够为图像搜索提供有效的描述符,其性能优于作为短向量表示的预CNN特征。然而,这类模型与几何感知重排序方法不兼容,并且在某些特定的对象检索基准测试中仍被依赖精确描述符匹配、几何重排序或查询扩展的传统图像搜索系统所超越。本文重新审视了检索过程中的两个阶段,即初始搜索和重排序,通过使用从CNN中提取的相同原始信息来改进这两个阶段。我们构建了紧凑的特征向量,能够在无需多次输入网络的情况下编码多个图像区域。此外,我们将积分图扩展到处理卷积层激活的最大池化操作,从而能够高效地定位匹配对象。最终生成的边界框用于图像重排序。因此,本文显著改进了现有的基于CNN的识别流程:首次在具有挑战性的Oxford5k和Paris6k数据集上报告了与传统方法相竞争的结果。

代码仓库

facebookresearch/videoalignment
pytorch
GitHub 中提及
gtolias/rmac
GitHub 中提及
moabitcoin/sisyphus
pytorch
GitHub 中提及
naver/deep-image-retrieval
pytorch
GitHub 中提及
almazan/deep-image-retrieval
pytorch
GitHub 中提及

基准测试

基准方法指标
image-retrieval-on-oxf105kR-MAC
MAP: 61.6%
image-retrieval-on-oxf105kR-MAC+R+QE
MAP: 73.2%
image-retrieval-on-par106kR-MAC+R+QE
mAP: 79.8%
image-retrieval-on-par106kR-MAC
mAP: 75.7%
image-retrieval-on-par6kR-MAC+R+QE
mAP: 86.5%
image-retrieval-on-par6kR-MAC
mAP: 83.0%
image-retrieval-on-roxford-hardR – [O] –MAC
mAP: 18.0
image-retrieval-on-roxford-hardR–R-MAC
mAP: 32.4
image-retrieval-on-roxford-mediumR – [O] –MAC
mAP: 41.7
image-retrieval-on-rparis-hardR–R-MAC
mAP: 59.4
image-retrieval-on-rparis-hardR – [O] –MAC
mAP: 44.1
image-retrieval-on-rparis-mediumR–R-MAC
mAP: 78.9
image-retrieval-on-rparis-mediumR – [O] –MAC
mAP: 66.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于积分最大池化的CNN激活的目标检索 | 论文 | HyperAI超神经