QianGuocheng ; LiYuchen ; PengHouwen ; MaiJinjie ; HammoudHasan Abed Al Kader ; ElhoseinyMohamed ; GhanemBernard

摘要
PointNet++ 是点云理解领域最具影响力的神经架构之一。尽管 PointNet++ 的准确性已被近期的网络如 PointMLP 和 Point Transformer 大幅超越,但我们发现,性能提升的很大一部分归因于改进的训练策略(即数据增强和优化技术)以及模型规模的扩大,而非架构创新。因此,PointNet++ 的全部潜力尚未得到充分挖掘。在本研究中,我们通过系统地研究模型训练和扩展策略,重新审视了经典的 PointNet++,并做出了两项主要贡献。首先,我们提出了一套改进的训练策略,显著提升了 PointNet++ 的性能。例如,在不改变架构的情况下,PointNet++ 在 ScanObjectNN 物体分类任务上的整体准确率(OA)可以从 77.9% 提高到 86.1%,甚至超过了最先进的 PointMLP。其次,我们将倒残差瓶颈设计和可分离多层感知机(MLPs)引入 PointNet++,以实现高效且有效的模型扩展,并提出了 PointNeXt——PointNets 的下一代版本。PointNeXt 可灵活扩展,并在 3D 分类和分割任务上均优于现有最先进方法。在分类任务中,PointNeXt 在 ScanObjectNN 上达到了 87.7% 的整体准确率,比 PointMLP 高出 2.3%,同时推理速度提高了 10 倍。在语义分割任务中,PointNeXt 在 S3DIS 数据集(6 折交叉验证)上实现了新的最先进性能,平均交并比(mean IoU)达到 74.9%,优于最近的 Point Transformer。代码和模型可在 https://github.com/guochengqian/pointnext 获取。
代码仓库
linhaojia13/pointmetabase
pytorch
GitHub 中提及
guochengqian/pointnext
官方
pytorch
GitHub 中提及
boyden/pointtransformerfl
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-part-segmentation-on-shapenet-part | PointNeXt | Class Average IoU: 85.2 Instance Average IoU: 87.1 |
| 3d-point-cloud-classification-on-modelnet40 | PointNeXt | FLOPs: 6.5G Mean Accuracy: 91.1 Number of params: 4.5M Overall Accuracy: 94.0 |
| 3d-point-cloud-classification-on-scanobjectnn | PointNeXt | FLOPs: 1.64G Mean Accuracy: 86.8 Number of params: 1.4M Overall Accuracy: 88.2 |
| 3d-semantic-segmentation-on-opentrench3d | PointNeXt-XL | Model Size: 41.5M mAcc: 79.7 mIoU: 70.6 |
| 3d-semantic-segmentation-on-s3dis | PointNext | mIoU (6-Fold): 74.9 mIoU (Area-5): 70.5 |
| semantic-segmentation-on-s3dis | PointNeXt-XL | FLOPs: 84.8G Mean IoU: 74.9 Number of params: 41.6M Params (M): 41.6 mAcc: 83.0 oAcc: 90.3 |
| semantic-segmentation-on-s3dis | PointNeXt-L | FLOPs: 15.2G Mean IoU: 73.9 Number of params: 7.1M Params (M): 7.1 mAcc: 82.2 oAcc: 89.9 |
| semantic-segmentation-on-s3dis-area5 | PointNeXt | Number of params: 41.6M mAcc: 77.2 mIoU: 71.1 oAcc: 91.0 |
| supervised-only-3d-point-cloud-classification | PointNeXt | GFLOPs: 3.6 Number of params (M): 1.4 Overall Accuracy (PB_T50_RS): 87.8 |