摘要

本文研究了面向机器人与自动驾驶车辆应用的基于视觉的相机重定位问题，采用神经网络实现。我们的方法提出了一种基于卷积神经网络（CNN）的算法，能够直接从单张图像中预测相机位姿（包含3D平移与3D旋转），并同时提供位姿的不确定性估计。位姿与不确定性通过单一损失函数联合学习，并在测试阶段利用扩展卡尔曼滤波器（EKF）进行融合。此外，我们提出了一种全新的全卷积网络架构——CoordiNet，旨在显式地嵌入场景几何信息。在目前最大的公开基准数据集Oxford RobotCar上，我们的方法显著优于现有对比方法，平均定位误差降低至8米，而此前最优方法的误差为19米。我们还进一步评估了该方法在大场景下的实时性能（18帧/秒）用于车辆定位。在此场景下，基于结构的方法通常依赖庞大的数据库，而我们的方法展现出可靠的替代优势，在一个1.9公里长、交通繁忙的城市环路中实现了29厘米的中位数定位误差。