摘要

构建三维场景图最近成为了一种用于表示世界的结构化和丰富方式，适用于多种具身化人工智能（Embodied AI）应用中的场景表示。随着它们在解决下游任务（如导航和房间重新布置）中的广泛应用，我们是否可以利用并回收这些三维场景图来创建环境的三维地图，这是代理操作中的一个关键步骤？本文关注的核心问题是将重叠程度从零到部分且可能包含任意变化的两组三维场景图对齐。我们提出了SGAligner，这是首个能够在野外环境中（即未知重叠——如果有——以及环境变化）稳健对齐两组三维场景图的方法。该方法受到多模态知识图谱的启发，通过对比学习来学习一个联合的多模态嵌入空间。我们在3RScan数据集上进行了评估，并进一步展示了我们的方法可用于估计两组三维场景之间的变换关系。由于这些任务缺乏基准测试，我们在该数据集上创建了相应的基准。项目网站提供了代码、基准测试和训练模型。