
摘要
跨视角图像匹配在地理定位中是一个具有挑战性的问题,因为航拍图像和地面视角图像之间存在显著的视觉差异。该方法通过使用地理参照图像提供定位能力,消除了对外部设备或昂贵设备的需求,从而增强了代理在无全球导航卫星系统(GNSS)环境中的自主定位、导航和有效操作的能力。当前的研究采用了多种技术来缩小域差距,例如对航拍图像应用极坐标变换或在不同视角之间进行合成。然而,这些方法通常依赖于360度视场,限制了其在实际应用中的可行性。我们提出了一种名为BEV-CV的方法,该方法引入了两个关键创新点,旨在提高跨视角地理定位的实际可行性。首先,在匹配嵌入之前将地面视角图像转换为语义鸟瞰图(Birds-Eye-View),以便直接与航拍图像表示进行比较。其次,我们将数据集调整为应用现实格式——与车辆方向对齐的有限视场图像。BEV-CV实现了最先进的召回精度,分别将CVUSA和CVACT数据集中70度裁剪图像的Top-1准确率提高了23%和24%。此外,通过减少浮点运算量至低于先前工作,并将嵌入维度降低33%,BEV-CV还显著降低了计算需求,从而实现了更快的定位能力。
代码仓库
tavisshore/BEV-CV
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| cross-view-geo-localisation-on-cvusa-70 | BEV-CV | Top-1: 27.4 Top-1%: 90.94 Top-10: 64.47 Top-5: 52.94 |
| cross-view-geo-localisation-on-cvusa-90 | GAL | Top-1: 22.54 |
| cross-view-geo-localisation-on-cvusa-90 | L2LTR | Top-1: 25.21 |
| cross-view-geo-localisation-on-cvusa-90 | L2LTR [Yang2021CrossviewGW] | R@5: 51.9 |
| cross-view-geo-localisation-on-cvusa-90 | CVFT | Top-1: 4.8 |
| cross-view-geo-localisation-on-cvusa-90 | DSM | Top-1: 33.66 |
| cross-view-geo-localisation-on-cvusa-90 | TransGeo | Top-1%: 86.8 Top-10: 56.49 Top-5: 45.35 |
| cross-view-geo-localisation-on-cvusa-90 | GeoDTR | Top-1: 15.21 Top-10: 52.27 Top-5: 39.32 |
| cross-view-geo-localisation-on-cvusa-90 | BEV-CV | Top-1: 32.11 Top-1%: 92.99 Top-10: 69.06 Top-5: 58.36 |
| cross-view-geo-localisation-on-cvusa-90 | TransGeo [Zhu2022TransGeoTI] | Top-1: 21.96 |
| cross-view-geo-localisation-on-cvusa-90 | CVM | Top-1: 2.76 |
| cross-view-geo-localisation-on-cvusa-90 | DSM [Shi2020WhereAI] | R@5: 51.7 |
| cross-view-geo-localisation-on-cvusa-90 | GeoDTR [zhang2023crossview] | Top-1%: 88.72 |