4 个月前

PointNeXt:重新审视PointNet++并改进训练和扩展策略

PointNeXt:重新审视PointNet++并改进训练和扩展策略

摘要

PointNet++ 是点云理解领域最具影响力的神经架构之一。尽管 PointNet++ 的准确性已被近期的网络如 PointMLP 和 Point Transformer 大幅超越,但我们发现,性能提升的很大一部分归因于改进的训练策略(即数据增强和优化技术)以及模型规模的扩大,而非架构创新。因此,PointNet++ 的全部潜力尚未得到充分挖掘。在本研究中,我们通过系统地研究模型训练和扩展策略,重新审视了经典的 PointNet++,并做出了两项主要贡献。首先,我们提出了一套改进的训练策略,显著提升了 PointNet++ 的性能。例如,在不改变架构的情况下,PointNet++ 在 ScanObjectNN 物体分类任务上的整体准确率(OA)可以从 77.9% 提高到 86.1%,甚至超过了最先进的 PointMLP。其次,我们将倒残差瓶颈设计和可分离多层感知机(MLPs)引入 PointNet++,以实现高效且有效的模型扩展,并提出了 PointNeXt——PointNets 的下一代版本。PointNeXt 可灵活扩展,并在 3D 分类和分割任务上均优于现有最先进方法。在分类任务中,PointNeXt 在 ScanObjectNN 上达到了 87.7% 的整体准确率,比 PointMLP 高出 2.3%,同时推理速度提高了 10 倍。在语义分割任务中,PointNeXt 在 S3DIS 数据集(6 折交叉验证)上实现了新的最先进性能,平均交并比(mean IoU)达到 74.9%,优于最近的 Point Transformer。代码和模型可在 https://github.com/guochengqian/pointnext 获取。

代码仓库

linhaojia13/pointmetabase
pytorch
GitHub 中提及
guochengqian/pointnext
官方
pytorch
GitHub 中提及
boyden/pointtransformerfl
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-part-segmentation-on-shapenet-partPointNeXt
Class Average IoU: 85.2
Instance Average IoU: 87.1
3d-point-cloud-classification-on-modelnet40PointNeXt
FLOPs: 6.5G
Mean Accuracy: 91.1
Number of params: 4.5M
Overall Accuracy: 94.0
3d-point-cloud-classification-on-scanobjectnnPointNeXt
FLOPs: 1.64G
Mean Accuracy: 86.8
Number of params: 1.4M
Overall Accuracy: 88.2
3d-semantic-segmentation-on-opentrench3dPointNeXt-XL
Model Size: 41.5M
mAcc: 79.7
mIoU: 70.6
3d-semantic-segmentation-on-s3disPointNext
mIoU (6-Fold): 74.9
mIoU (Area-5): 70.5
semantic-segmentation-on-s3disPointNeXt-XL
FLOPs: 84.8G
Mean IoU: 74.9
Number of params: 41.6M
Params (M): 41.6
mAcc: 83.0
oAcc: 90.3
semantic-segmentation-on-s3disPointNeXt-L
FLOPs: 15.2G
Mean IoU: 73.9
Number of params: 7.1M
Params (M): 7.1
mAcc: 82.2
oAcc: 89.9
semantic-segmentation-on-s3dis-area5PointNeXt
Number of params: 41.6M
mAcc: 77.2
mIoU: 71.1
oAcc: 91.0
supervised-only-3d-point-cloud-classificationPointNeXt
GFLOPs: 3.6
Number of params (M): 1.4
Overall Accuracy (PB_T50_RS): 87.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PointNeXt:重新审视PointNet++并改进训练和扩展策略 | 论文 | HyperAI超神经