摘要
本文提出FG-Net，一种无需体素化（voxelization）的通用深度学习框架，用于大规模点云的理解任务，仅需单张NVIDIA GTX 1080 GPU即可实现高精度且实时的性能。首先，设计了一种新颖的噪声与离群点过滤方法，以有效支持后续的高级任务。为实现高效理解，本文提出一种深度卷积神经网络，结合相关特征挖掘与基于可变形卷积的几何感知建模机制，充分挖掘局部特征间的关系及几何模式。针对计算效率问题，提出了逆密度采样操作与基于特征金字塔的残差学习策略，分别有效降低计算开销与内存消耗。在多个真实世界挑战性数据集上的大量实验表明，所提方法在准确率与效率方面均优于现有最先进方法。此外，还开展了弱监督迁移学习实验，进一步验证了该方法良好的泛化能力。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-part-segmentation-on-shapenet-part | Feature Geometric Net (FG-Net) | Class Average IoU: 87.7 Instance Average IoU: 86.6 |
| 3d-point-cloud-classification-on-modelnet40 | Feature Geometric Net (FG-Net) | Mean Accuracy: 91.1 Overall Accuracy: 93.8 |
| 3d-semantic-segmentation-on-partnet | FG-Net | mIOU: 58.2 |
| 3d-semantic-segmentation-on-semantickitti | FG-Net | test mIoU: 53.8% |
| lidar-semantic-segmentation-on-paris-lille-3d | Feature Geometric Net (FG Net) | mIOU: 0.819 |
| semantic-segmentation-on-s3dis | Feature Geometric Net (FG-Net) | Mean IoU: 70.8 Number of params: N/A mAcc: 82.9 oAcc: 88.2 |
| semantic-segmentation-on-scannet | FG-Net | test mIoU: 69.0 |
| semantic-segmentation-on-semantic3d | Feature Geometric Net | mIoU: 78.2% oAcc: 93.6 |