3 个月前

基于图神经网络的多视角相机重定位学习

基于图神经网络的多视角相机重定位学习

摘要

我们提出构建一个视图图(view graph),以挖掘给定序列中全部信息,用于绝对相机位姿估计。具体而言,我们利用图神经网络(GNNs)建模该图结构,使得非连续帧之间也能实现信息交互。与直接采用常规GNN不同,我们重新定义了节点、边及嵌入函数,以适配重定位任务的需求。重构后的GNN与CNN协同工作,分别负责引导知识传播与特征提取,从而在不同层次上迭代处理多视角高维图像特征。此外,我们设计了一种基于图结构的通用损失函数,超越了传统仅限于连续视图间约束的限制,实现了网络的端到端训练。在室内与室外多个数据集上进行的大量实验表明,本方法在大规模及复杂场景下显著优于现有方法。

基准测试

基准方法指标
camera-localization-on-oxford-robotcar-fullGNNMapNet
Mean Translation Error: 17.35
visual-localization-on-oxford-robotcar-fullGNNMapNet
Mean Translation Error: 17.35

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于图神经网络的多视角相机重定位学习 | 论文 | HyperAI超神经