
摘要
跨视角地理定位(Cross-View Geo-Localisation)仍然是一个具有挑战性的任务,需要额外的模块、特定的预处理或缩放策略来确定图像的精确位置。由于不同视角具有不同的几何特征,预处理步骤如极坐标变换有助于将它们合并。然而,这会导致图像失真,随后需要进行校正。在训练批次中添加难负样本可以提高整体性能,但在地理定位中使用默认损失函数时很难实现这一点。本文提出了一种基于对比学习并采用对称InfoNCE损失的简化而有效的架构,其性能优于当前最先进的结果。我们的框架包含一个狭窄的训练管道,消除了使用聚合模块的需求,避免了进一步的预处理步骤,并且提高了模型对未知区域的泛化能力。我们引入了两种用于难负样本采样的策略。第一种策略明确利用地理位置相邻的位置来提供良好的起点;第二种策略则利用图像嵌入之间的视觉相似性来挖掘难负样本。我们的研究在常见的跨视角数据集(如CVUSA、CVACT、University-1652和VIGOR)上表现出色。跨区域和同区域设置之间的比较证明了我们模型的良好泛化能力。
代码仓库
Skyy93/Sample4Geo
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cross-view-geo-localisation-on-spagbol | Sample4Geo | Top-1: 50.80 |
| drone-view-target-localization-on-university-1 | Sample4Geo | AP: 93.81 Recall@1: 92.65 |
| image-based-localization-on-cvact | Sample4Geo | Recall@1: 90.81 Recall@1 (%): 98.77 Recall@10: 97.48 Recall@5: 96.74 |
| image-based-localization-on-cvusa-1 | Sample4Geo | Recall@1: 98.68 Recall@10: 99.78 Recall@5: 99.68 Recall@top1%: 99.87 |
| image-based-localization-on-vigor-cross-area | Sample4Geo | Hit Rate: 69.87 Recall@1: 61.70 Recall@1%: 98.17 Recall@10: 88.00 Recall@5: 83.50 |
| image-based-localization-on-vigor-same-area | Sample4Geo | Hit Rate: 89.82 Recall@1: 77.86 Recall@1%: 99.61 Recall@10: 97.21 Recall@5: 95.66 |
| visual-place-recognition-on-cv-cities | Sample4Geo | Recall@1: 74.49 Recall@5: 84.07 |