
摘要
变压器在3D点云语义分割中展示了令人印象深刻的结果。然而,变压器的二次复杂度导致计算成本高昂,限制了可以同时处理的点数,并阻碍了对单个场景中物体之间长程依赖关系的建模。受到最近状态空间模型(SSM)在长序列建模方面巨大潜力的启发,我们引入了一种基于SSM的架构——Mamba,并提出了Pamba,这是一种具有强大全局建模能力且复杂度为线性的新型架构。具体而言,为了使点云的无序性适应Mamba的因果特性,我们提出了一种适用于点云的多路径序列化策略。此外,我们还提出了ConvMamba模块,以弥补Mamba在局部几何建模和单向建模方面的不足。Pamba在多个3D点云分割任务上取得了最先进的结果,包括ScanNet v2、ScanNet200、S3DIS和nuScenes,并通过大量实验验证了其有效性。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-scannet200 | Pamba | test mIoU: 37.1 val mIoU: 36.3 |
| semantic-segmentation-on-s3dis-area5 | Pamba | mIoU: 73.5 |
| semantic-segmentation-on-scannet | Pamba | val mIoU: 77.6 |