
摘要
我们研究大规模三维点云的高效语义分割问题。现有大多数方法依赖于昂贵的采样技术或计算开销较大的预处理/后处理步骤,因此仅能适用于小规模点云的训练与运行。本文提出RandLA-Net,一种高效且轻量化的神经网络架构,可直接对大规模点云进行逐点语义推断。我们方法的核心在于采用随机点采样,而非更为复杂的点选择策略。尽管随机采样在计算与内存使用上极为高效,但可能因偶然性而丢失关键特征。为克服这一问题,我们设计了一种新颖的局部特征聚合模块,能够逐步扩大每个三维点的感受野,从而有效保留几何细节。大量实验表明,我们的RandLA-Net能够在单次前向传播中处理高达一百万个点,速度比现有方法最快提升达200倍。此外,在两个大规模基准数据集Semantic3D和SemanticKITTI上的语义分割任务中,RandLA-Net显著超越了当前最优方法。
代码仓库
tsunghan-mama/RandLA-Net-pytorch
pytorch
GitHub 中提及
QingyongHu/RandLA-Net
官方
tf
GitHub 中提及
idsia-robotics/RandLA-Net-pytorch
pytorch
GitHub 中提及
tsunghan-wu/randla-net-pytorch
pytorch
GitHub 中提及
aRI0U/RandLA-Net-pytorch
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-semantickitti | RandLA-Net | test mIoU: 53.9% |
| 3d-semantic-segmentation-on-toronto-3d | RandLANet | OA: 93.50 mIoU: 68.40 |
| semantic-segmentation-on-s3dis | RandLA-Net | Number of params: 1.2M Params (M): 1.2 mAcc: 81.5 mIoU: 68.5 oAcc: 87.1 |
| semantic-segmentation-on-semantic3d | RandLA-Net | mIoU: 77.4% oAcc: 94.8 |
| semantic-segmentation-on-toronto-3d-l002 | RandLA-Net | mIoU: 74.3 oAcc: 88.4 |