摘要
我们提出一种高效的大规模三维点云全景分割方法，通过将该任务重新定义为可扩展的图聚类问题，实现了显著的性能提升。该方法仅需利用局部辅助任务进行训练，从而在训练过程中彻底消除了资源消耗巨大的实例匹配步骤。此外，我们的方法可轻松适配超点（superpoint）范式，进一步提升了计算效率。因此，我们的模型能够在单次推理中处理包含数百万个点和数千个物体的复杂场景。该方法名为 SuperCluster，在两个室内扫描数据集上取得了新的最先进性能：在 S3DIS Area 5 上达到 50.1 的 PQ 分数（提升 7.8），在 ScanNetV2 上达到 58.7 的 PQ 分数（提升 25.2）。同时，我们在两个大规模移动测绘基准数据集 KITTI-360 和 DALES 上首次实现了最先进水平的性能。模型参数量仅为 209k，比当前最佳竞争方法小超过 30 倍，且训练速度最快可达其 15 倍。相关代码与预训练模型已开源，地址为：https://github.com/drprojects/superpoint_transformer。
代码仓库
drprojects/superpoint_transformer
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-dales | SuperCluster | Model size: 210M mIoU: 77.3 |
| 3d-semantic-segmentation-on-kitti-360 | SuperCluster | Model size: 790K miou Val: 62.1 |
| panoptic-segmentation-on-dales | SuperCluster | PQ: 61.2 Params (M): 0.21 RQ: 68.6 SQ: 87.1 |
| panoptic-segmentation-on-kitti-360 | SuperCluster | PQ: 48.3 Params (M): 0.79 RQ: 58.4 SQ: 75.1 |
| panoptic-segmentation-on-s3dis | SuperCluster | PQ: 55.9 PQ (with stuff): 62.7 Params (M): 0.21 RQ: 66.3 RQ (with stuff): 73.2 SQ: 83.8 SQ (with stuff): 84.8 |
| panoptic-segmentation-on-s3dis-area5 | SuperCluster | PQ: 50.1 PQ (with stuff): 58.4 Params (M): 0.21 RQ: 60.1 RQ (with stuff): 68.4 SQ: 76.6 SQ (with stuff): 77.8 |
| panoptic-segmentation-on-scannet | SuperCluster | PQ: 58.7 PQ_st: 84.1 PQ_th: 69.1 |
| panoptic-segmentation-on-scannetv2 | SuperCluster | PQ: 58.7 Params (M): 1 RQ: 69.1 SQ: 84.1 |
| semantic-segmentation-on-s3dis | SuperCluster | Mean IoU: 75.3 Number of params: 0.21M Params (M): 0.21 |
| semantic-segmentation-on-s3dis-area5 | SuperCluster | Number of params: 0.21 mIoU: 68.1 |