
摘要
三维点云全景分割(3D point cloud panoptic segmentation)是一项综合性任务,旨在(i)为每个点分配语义类别,以及(ii)将每个语义类别中的点划分为不同的物体实例。近年来,随着深度三维神经网络的快速发展,语义分割技术取得了显著进展,推动了对全面三维场景理解的日益关注。然而,截至目前,针对室外移动测绘数据的全景分割研究仍十分有限,且缺乏系统性的比较分析。本文旨在填补这一空白。文章系统回顾了构建全景分割流水线所需的核心组件及相关研究文献,并设计了一套模块化流水线,用于开展全面且系统的实验,以评估街景地图场景下全景分割的当前技术水平。作为附加成果,我们首次公开了一个用于该任务的数据集——通过在NPM3D数据集基础上扩展实例标注,构建了首个公开的全景分割数据集。该数据集及本文的源代码均已公开发布。本文还探讨了现有全景分割方法在应用于室外场景和大型物体时所需的关键适应性调整。研究结果表明,在移动测绘数据上,KPConv表现最佳,但计算速度较慢;PointNet++速度最快,但性能显著逊色;而稀疏卷积网络(Sparse CNNs)则处于两者之间。无论采用何种主干网络,基于聚类嵌入特征的实例分割方法均优于依赖偏移坐标的方法。
代码仓库
bxiang233/panopticsegformobilemappingpointclouds
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| panoptic-segmentation-on-s3dis-area5 | KPConv (Xiang 2023) | PQ: 41.8 Params (M): 14.2 RQ: 51.5 SQ: 74.7 |
| panoptic-segmentation-on-s3dis-area5 | PointGroup (Xiang 2023) | PQ: 42.3 Params (M): 7.7 RQ: 52.0 SQ: 74.7 |
| panoptic-segmentation-on-s3dis-area5 | MinkowskiNet (Xiang 2023) | PQ: 39.2 Params (M): 38.0 RQ: 48.0 SQ: 74.9 |
| panoptic-segmentation-on-s3dis-area5 | PointNet++ (Xiang 2023) | PQ: 24.6 Params (M): 3.1 RQ: 32.6 SQ: 68.2 |