
摘要
场景图最近被引入到三维空间理解中,作为对场景的全面表示。三维场景图之间的对齐是许多下游任务(如场景图辅助点云配准、拼接、重叠检查和机器人导航)的第一步。在本研究中,我们将三维场景图对齐视为一个部分图匹配问题,并提出使用图神经网络来解决该问题。我们重新利用了一种点云配准方法所学习的几何特征,并通过我们设计的特征融合模块将聚类后的点级几何特征与节点级语义特征关联起来。部分匹配通过使用一种可学习的方法选择最相似的前k个节点对来实现。通过在匹配区域内运行预训练的配准网络,后续的下游任务(如点云配准)得以完成。此外,我们还提出了一种点匹配重评分方法,该方法利用三维场景图的节点级对齐来重新加权预训练点云配准方法中的匹配候选点。这尤其在低重叠情况下减少了错误的点对应关系估计。实验结果表明,我们的方法在低重叠和随机变换场景下提高了10%~20%的对齐精度,并在多个下游任务中优于现有工作。
代码仓库
dfki-av/sg-pgm
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-scene-graph-alignment-on-3dssg | SG-PGM | F1: 89.4 Hits@1: 97.5 MRR: 98.6 |
| point-cloud-registration-on-3rscan | SG-PGM | CD: 0.0083 RRE: 0.510 RTE: 1.27 |