
摘要
我们介绍了核点卷积(Kernel Point Convolution, KPConv),这是一种新的点云卷积设计,无需任何中间表示即可直接在点云上进行操作。KPConv 的卷积权重通过核点定位在欧几里得空间中,并应用于靠近这些核点的输入点。KPConv 可以使用任意数量的核点,这赋予了它比固定网格卷积更大的灵活性。此外,这些位置在空间中是连续的,并且可以由网络学习。因此,KPConv 可以扩展为可变形卷积,学习适应局部几何结构的核点。得益于一种规则的下采样策略,KPConv 在不同密度下也表现出高效性和鲁棒性。无论是在复杂任务中使用可变形 KPConv,还是在简单任务中使用刚性 KPConv,我们的网络在多个数据集上的分类和分割性能均优于现有最先进的方法。我们还提供了消融研究和可视化结果,以帮助理解 KPConv 学到了什么,并验证可变形 KPConv 的描述能力。
代码仓库
plusmultiply/mprm
tf
GitHub 中提及
Arjun-NA/KPConv_for_DALES
tf
GitHub 中提及
HuguesTHOMAS/KPConv
官方
tf
GitHub 中提及
XuyangBai/KPConv.pytorch
pytorch
GitHub 中提及
isl-org/Open3D-ML
pytorch
ldkong1205/Robo3D
pytorch
GitHub 中提及
Yacovitch/EyeNet
tf
GitHub 中提及
HuguesTHOMAS/KPConv-PyTorch
pytorch
GitHub 中提及
genglinliu/KPConv_Pytorch
pytorch
GitHub 中提及
JohnRomanelis/KPConv_torch_geometric
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-part-segmentation-on-shapenet-part | KPConv | Class Average IoU: 85.1 Instance Average IoU: 86.4 |
| 3d-point-cloud-classification-on-modelnet40 | KPConv | Overall Accuracy: 92.9 |
| 3d-semantic-segmentation-on-dales | KPConv | Model size: 14M Overall Accuracy: 97.8 mIoU: 81.1 |
| 3d-semantic-segmentation-on-scannet-1 | KPConv | Top-1 IoU: 0.265 Top-3 IoU: 0.460 |
| 3d-semantic-segmentation-on-semantickitti | KPConv | test mIoU: 58.8% |
| 3d-semantic-segmentation-on-sensaturban | KPConv | mIoU: 57.58 |
| 3d-semantic-segmentation-on-stpls3d | KpConv | mIOU: 53.73 |
| lidar-semantic-segmentation-on-paris-lille-3d | KPConv deform | mIOU: 0.759 |
| robust-3d-semantic-segmentation-on | KPConv | mean Corruption Error (mCE): 99.54% |
| scene-segmentation-on-scannet | KPConv | 3DIoU: 68.6 |
| semantic-segmentation-on-s3dis | KPConv | Mean IoU: 70.6 Number of params: 14.1M Params (M): 14.1 mAcc: 79.1 |
| semantic-segmentation-on-s3dis-area5 | KPConv | Number of params: 14.1M mAcc: 72.8 mIoU: 67.1 |
| semantic-segmentation-on-scannet | KpConv | test mIoU: 68.0 val mIoU: 69.2 |
| semantic-segmentation-on-semantic3d | KPConv | mIoU: 74.6% |