4 个月前

KPConv:用于点云的灵活和可变形卷积

KPConv:用于点云的灵活和可变形卷积

摘要

我们介绍了核点卷积(Kernel Point Convolution, KPConv),这是一种新的点云卷积设计,无需任何中间表示即可直接在点云上进行操作。KPConv 的卷积权重通过核点定位在欧几里得空间中,并应用于靠近这些核点的输入点。KPConv 可以使用任意数量的核点,这赋予了它比固定网格卷积更大的灵活性。此外,这些位置在空间中是连续的,并且可以由网络学习。因此,KPConv 可以扩展为可变形卷积,学习适应局部几何结构的核点。得益于一种规则的下采样策略,KPConv 在不同密度下也表现出高效性和鲁棒性。无论是在复杂任务中使用可变形 KPConv,还是在简单任务中使用刚性 KPConv,我们的网络在多个数据集上的分类和分割性能均优于现有最先进的方法。我们还提供了消融研究和可视化结果,以帮助理解 KPConv 学到了什么,并验证可变形 KPConv 的描述能力。

代码仓库

plusmultiply/mprm
tf
GitHub 中提及
Arjun-NA/KPConv_for_DALES
tf
GitHub 中提及
HuguesTHOMAS/KPConv
官方
tf
GitHub 中提及
XuyangBai/KPConv.pytorch
pytorch
GitHub 中提及
ldkong1205/Robo3D
pytorch
GitHub 中提及
Yacovitch/EyeNet
tf
GitHub 中提及
HuguesTHOMAS/KPConv-PyTorch
pytorch
GitHub 中提及
genglinliu/KPConv_Pytorch
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-part-segmentation-on-shapenet-partKPConv
Class Average IoU: 85.1
Instance Average IoU: 86.4
3d-point-cloud-classification-on-modelnet40KPConv
Overall Accuracy: 92.9
3d-semantic-segmentation-on-dalesKPConv
Model size: 14M
Overall Accuracy: 97.8
mIoU: 81.1
3d-semantic-segmentation-on-scannet-1KPConv
Top-1 IoU: 0.265
Top-3 IoU: 0.460
3d-semantic-segmentation-on-semantickittiKPConv
test mIoU: 58.8%
3d-semantic-segmentation-on-sensaturbanKPConv
mIoU: 57.58
3d-semantic-segmentation-on-stpls3dKpConv
mIOU: 53.73
lidar-semantic-segmentation-on-paris-lille-3dKPConv deform
mIOU: 0.759
robust-3d-semantic-segmentation-onKPConv
mean Corruption Error (mCE): 99.54%
scene-segmentation-on-scannetKPConv
3DIoU: 68.6
semantic-segmentation-on-s3disKPConv
Mean IoU: 70.6
Number of params: 14.1M
Params (M): 14.1
mAcc: 79.1
semantic-segmentation-on-s3dis-area5KPConv
Number of params: 14.1M
mAcc: 72.8
mIoU: 67.1
semantic-segmentation-on-scannetKpConv
test mIoU: 68.0
val mIoU: 69.2
semantic-segmentation-on-semantic3dKPConv
mIoU: 74.6%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
KPConv:用于点云的灵活和可变形卷积 | 论文 | HyperAI超神经