4 个月前

每一部分都很重要:局部模式促进跨视角地理定位

每一部分都很重要:局部模式促进跨视角地理定位

摘要

跨视角地理定位是指从不同平台(例如无人机视角相机和卫星)识别同一地理目标的图像。由于极端视角变化导致的显著视觉外观差异,这一任务极具挑战性。现有的方法通常专注于挖掘图像中心地理目标的细粒度特征,但往往低估了邻近区域的上下文信息。在本研究中,我们认为邻近区域可以作为辅助信息加以利用,从而丰富地理定位中的判别线索。具体而言,我们引入了一种简单而有效的深度神经网络,称为局部模式网络(Local Pattern Network, LPN),以端到端的方式利用上下文信息。LPN 采用了方形环特征分区策略,根据距离图像中心的远近分配注意力权重。这简化了部分匹配过程,并促进了逐部分表示学习。得益于方形环分区设计,所提出的 LPN 对旋转变化具有良好的可扩展性,并在三个主流基准数据集(即 University-1652、CVUSA 和 CVACT)上取得了具有竞争力的结果。此外,我们还展示了 LPN 可以轻松嵌入其他框架中,进一步提升性能。

代码仓库

wtyhub/LPN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
drone-navigation-on-university-1652-1LPN
AP: 74.79
Recall@1: 86.45
drone-view-target-localization-on-university-1LPN
AP: 79.14
Recall@1: 75.93
image-based-localization-on-cvactLPN
Recall@1: 79.99
Recall@1 (%): 97.03
Recall@10: 92.56
Recall@5: 90.63
image-based-localization-on-cvusa-1LPN
Recall@1: 85.79
Recall@10: 96.98
Recall@5: 95.38
Recall@top1%: 99.41

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
每一部分都很重要:局部模式促进跨视角地理定位 | 论文 | HyperAI超神经