摘要
当前最先进的大规模驾驶场景LiDAR分割方法通常将点云投影到二维空间，然后通过二维卷积进行处理。尽管这种方法在点云处理方面表现出竞争力，但不可避免地会改变和放弃三维拓扑结构和几何关系。一个自然的解决方案是利用三维体素化和三维卷积网络。然而，我们发现，在室外点云中，通过这种方式获得的改进相当有限。一个重要原因是室外点云的特性，即稀疏性和密度变化。基于这一研究动机，我们提出了一种新的室外LiDAR分割框架，设计了圆柱形划分和非对称三维卷积网络，以探索三维几何模式的同时保持这些固有特性。此外，引入了一个逐点细化模块来减轻损失性体素标签编码的干扰。我们在两个大规模数据集上评估了所提出的模型，即SemanticKITTI和nuScenes。我们的方法在SemanticKITTI排行榜上取得了第一名，并且在nuScenes数据集上的表现明显优于现有方法，约提高了4%。此外，所提出的三维框架在LiDAR全景分割和LiDAR三维检测任务中也表现出良好的泛化能力。
代码仓库
xinge008/Cylinder3D
官方
pytorch
GitHub 中提及
L-Reichardt/Cylinder3D-updated-CUDA
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-scribblekitti | Cylinder3D | mIoU: 57.0 |
| 3d-semantic-segmentation-on-semantickitti | Cylinder3D | test mIoU: 68.9% val mIoU: 64.3% |
| lidar-semantic-segmentation-on-nuscenes | Cylinder3D+InstanceAug | test mIoU: 0.77 |
| robust-3d-semantic-segmentation-on | Cylinder3D (torchsparse) | mean Corruption Error (mCE): 103.13% |
| robust-3d-semantic-segmentation-on | Cylinder3D (spconv) | mean Corruption Error (mCE): 103.25% |
| robust-3d-semantic-segmentation-on-nuscenes-c | Cylinder3D (torchsparse) | mean Corruption Error (mCE): 105.56% |
| robust-3d-semantic-segmentation-on-nuscenes-c | Cylinder3D (spconv) | mean Corruption Error (mCE): 111.84% |
| robust-3d-semantic-segmentation-on-wod-c | Cylinder3D (torchsparse) | mean Corruption Error (mCE): 106.02% |
| semi-supervised-semantic-segmentation-on-23 | Sup.-only (Voxel) | mIoU (1% Labels): 39.2 mIoU (10% Labels): 48.0 mIoU (20% Labels): 52.1 mIoU (50% Labels): 53.8 |
| semi-supervised-semantic-segmentation-on-25 | Sup.-only (Voxel) | mIoU (1% Labels): 50.9 mIoU (10% Labels): 65.9 mIoU (20% Labels): 66.6 mIoU (50% Labels): 71.2 |