4 个月前

Sample4Geo:用于跨视图地理定位的难负样本采样

Sample4Geo:用于跨视图地理定位的难负样本采样

摘要

跨视角地理定位(Cross-View Geo-Localisation)仍然是一个具有挑战性的任务,需要额外的模块、特定的预处理或缩放策略来确定图像的精确位置。由于不同视角具有不同的几何特征,预处理步骤如极坐标变换有助于将它们合并。然而,这会导致图像失真,随后需要进行校正。在训练批次中添加难负样本可以提高整体性能,但在地理定位中使用默认损失函数时很难实现这一点。本文提出了一种基于对比学习并采用对称InfoNCE损失的简化而有效的架构,其性能优于当前最先进的结果。我们的框架包含一个狭窄的训练管道,消除了使用聚合模块的需求,避免了进一步的预处理步骤,并且提高了模型对未知区域的泛化能力。我们引入了两种用于难负样本采样的策略。第一种策略明确利用地理位置相邻的位置来提供良好的起点;第二种策略则利用图像嵌入之间的视觉相似性来挖掘难负样本。我们的研究在常见的跨视角数据集(如CVUSA、CVACT、University-1652和VIGOR)上表现出色。跨区域和同区域设置之间的比较证明了我们模型的良好泛化能力。

代码仓库

Skyy93/Sample4Geo
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
cross-view-geo-localisation-on-spagbolSample4Geo
Top-1: 50.80
drone-view-target-localization-on-university-1Sample4Geo
AP: 93.81
Recall@1: 92.65
image-based-localization-on-cvactSample4Geo
Recall@1: 90.81
Recall@1 (%): 98.77
Recall@10: 97.48
Recall@5: 96.74
image-based-localization-on-cvusa-1Sample4Geo
Recall@1: 98.68
Recall@10: 99.78
Recall@5: 99.68
Recall@top1%: 99.87
image-based-localization-on-vigor-cross-areaSample4Geo
Hit Rate: 69.87
Recall@1: 61.70
Recall@1%: 98.17
Recall@10: 88.00
Recall@5: 83.50
image-based-localization-on-vigor-same-areaSample4Geo
Hit Rate: 89.82
Recall@1: 77.86
Recall@1%: 99.61
Recall@10: 97.21
Recall@5: 95.66
visual-place-recognition-on-cv-citiesSample4Geo
Recall@1: 74.49
Recall@5: 84.07

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Sample4Geo:用于跨视图地理定位的难负样本采样 | 论文 | HyperAI超神经