HyperAIHyperAI

Command Palette

Search for a command to run...

SGAligner:基于场景图的3D场景对齐

Sayan Deb Sarkar Ondrej Miksik Marc Pollefeys Daniel Barath Iro Armeni

摘要

构建三维场景图最近成为了一种用于表示世界的结构化和丰富方式,适用于多种具身化人工智能(Embodied AI)应用中的场景表示。随着它们在解决下游任务(如导航和房间重新布置)中的广泛应用,我们是否可以利用并回收这些三维场景图来创建环境的三维地图,这是代理操作中的一个关键步骤?本文关注的核心问题是将重叠程度从零到部分且可能包含任意变化的两组三维场景图对齐。我们提出了SGAligner,这是首个能够在野外环境中(即未知重叠——如果有——以及环境变化)稳健对齐两组三维场景图的方法。该方法受到多模态知识图谱的启发,通过对比学习来学习一个联合的多模态嵌入空间。我们在3RScan数据集上进行了评估,并进一步展示了我们的方法可用于估计两组三维场景之间的变换关系。由于这些任务缺乏基准测试,我们在该数据集上创建了相应的基准。项目网站提供了代码、基准测试和训练模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SGAligner:基于场景图的3D场景对齐 | 论文 | HyperAI超神经