摘要

街景图像为我们提供了远程探索不同地点的新颖体验。经过精心校准的街景图像（例如谷歌街景）可以用于多种下游任务，如导航和地图特征提取。随着个人高质量相机变得越来越经济实惠且便携，大量众包的街景图像被上传到互联网，但通常伴随着缺失或有噪声的传感器信息。为了将这些隐藏的宝藏准备为“即用”状态，确定缺失的位置信息和相机方向角是两个同样重要的任务。近期的方法通过与地理参考卫星图像池进行跨视图匹配，在街景图像的地理定位方面取得了高性能。然而，大多数现有研究更多关注地理定位而非估计图像方向。在本工作中，我们重新强调了寻找街景图像细粒度方向的重要性，正式定义了该问题，并提供了一套评估指标来衡量方向估计的质量。我们提出了两种方法以提高方向估计的细粒度，分别在CVUSA和CVACT数据集上实现了82.4%和72.3%的精度，对应于角度误差低于2度的图像相比之前工作的绝对提升分别为34.9%和28.2%。在训练中整合细粒度方向估计也提高了地理定位的性能，在两个数据集上的已知/未知方向测试中分别达到了95.5%/85.5%和86.8%/80.4%的首位召回率。