3 个月前

AnyLoc:迈向通用视觉场景识别

AnyLoc:迈向通用视觉场景识别

摘要

视觉场景识别(Visual Place Recognition, VPR)对于机器人定位至关重要。迄今为止,性能最优的VPR方法大多依赖于特定环境与特定任务:尽管它们在结构化环境(主要为城市驾驶场景)中表现出色,但在非结构化环境中性能显著下降,导致大多数现有方法难以适应真实世界的鲁棒部署需求。本文提出了一种通用的VPR解决方案——一种无需任何重新训练或微调即可在广泛多样的环境中运行的技术,涵盖城市、户外、室内、空中、水下及地下等多种场景。我们证明,仅通过使用现成的自监督模型提取的通用特征表示(无需针对VPR任务进行专门训练),即可构成构建通用VPR系统的理想基础。将这些通用特征与无监督特征聚合方法相结合,使得我们提出的AnyLoc方法集在性能上相比现有技术最高提升达4倍。此外,通过分析这些特征的语义属性,我们进一步识别出若干独特语义域,成功将来自相似环境的数据集进行有效归类,从而实现了性能再提升6%。详尽的实验与深入分析为构建可随时随地、适用于任意视角的普适性VPR系统奠定了坚实基础。我们诚挚邀请读者访问我们的项目主页及交互式演示:https://anyloc.github.io/。

代码仓库

AnyLoc/AnyLoc
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
visual-place-recognition-on-17-placesAnyLoc-VLAD-DINOv2
Recall@1: 65.02
visual-place-recognition-on-17-placesCLIP
Recall@1: 59.36
visual-place-recognition-on-baidu-mallCLIP
Recall@1: 56.02
visual-place-recognition-on-baidu-mallAnyLoc-VLAD-DINOv2
Recall@1: 75.22
visual-place-recognition-on-gardens-pointAnyLoc-VLAD-DINOv2
Recall@1: 95.5
visual-place-recognition-on-gardens-pointCLIP
Recall@1: 42.5
visual-place-recognition-on-hawkinsAnyLoc-VLAD-DINOv2
Recall@1: 65.25
visual-place-recognition-on-hawkinsCLIP
Recall@1: 33.05
visual-place-recognition-on-laurel-cavernsCLIP
Recall@1: 36.61
visual-place-recognition-on-laurel-cavernsAnyLoc-VLAD-DINOv2
Recall@1: 61.61
visual-place-recognition-on-mid-atlanticCLIP
Recall@1: 25.74
visual-place-recognition-on-mid-atlanticAnyLoc-VLAD-DINOv2
Recall@1: 34.65
visual-place-recognition-on-nardo-airAnyLoc-VLAD-DINOv2
Recall@1: 76.06
visual-place-recognition-on-nardo-airCLIP
Recall@1: 42.25
visual-place-recognition-on-nardo-air-rAnyLoc-VLAD-DINO
Recall@1: 94.37
visual-place-recognition-on-nardo-air-rAnyLoc-VLAD-DINOv2
Recall@1: 85.92
visual-place-recognition-on-nardo-air-rCLIP
Recall@1: 61.97
visual-place-recognition-on-oxford-robotcar-4AnyLoc-VLAD-DINOv2
Recall@1: 98.95
visual-place-recognition-on-oxford-robotcar-4CLIP
Recall@1: 34.55
visual-place-recognition-on-pittsburgh-30kAnyLoc-VLAD-DINOv2
Recall@1: 87.66
visual-place-recognition-on-pittsburgh-30kCLIP
Recall@1: 54.97
visual-place-recognition-on-st-luciaAnyLoc-VLAD-DINOv2
Recall@1: 96.17
visual-place-recognition-on-st-luciaCLIP
Recall@1: 62.7
visual-place-recognition-on-vp-airCLIP
Recall@1: 36.59
visual-place-recognition-on-vp-airAnyLoc-VLAD-DINOv2
Recall@1: 66.74

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
AnyLoc:迈向通用视觉场景识别 | 论文 | HyperAI超神经