3 个月前

基于空间感知的特征聚合用于基于图像的跨视角地理定位

基于空间感知的特征聚合用于基于图像的跨视角地理定位

摘要

在本文中,我们提出了一种新型深度网络,旨在显式地解决地面视角与航拍视角之间的固有差异问题。我们观察到,地面图像与航拍图像之间存在某种近似的域对应关系:在航拍图像中,位于相同方位角方向的像素,大致对应于地面视角图像中的一列垂直图像区域。基于这一先验知识,我们提出了一种两阶段方法。第一阶段,对航拍图像应用标准的极坐标变换,将其映射到与地面全景图像更接近的域空间中。需要指出的是,极坐标变换作为一种纯几何变换,不依赖于场景内容,因此无法实现两个域之间的完全对齐。随后,我们引入一种空间注意力机制,进一步在嵌入空间中拉近对应深度特征的距离。为增强特征表示的鲁棒性,我们设计了一种基于多空间嵌入学习的特征聚合策略。通过上述两阶段方法,我们获得了更具判别性的深度特征表示,显著提升了跨视角地理定位的准确性。在标准基准数据集上的实验结果表明,该方法取得了显著的性能提升,相较于此前的最先进方法,召回率提升了超过一倍。

基准测试

基准方法指标
image-based-localization-on-vigor-cross-areaSAFA
Hit Rate: 8.85
Recall@1: 8.20
Recall@1%: 77.61
Recall@10: 26.36
Recall@5: 19.59
image-based-localization-on-vigor-same-areaSAFA
Hit Rate: 36.87
Recall@1: 33.93
Recall@1%: 98.24
Recall@10: 68.12
Recall@5: 58.42

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于空间感知的特征聚合用于基于图像的跨视角地理定位 | 论文 | HyperAI超神经