摘要

与图像在规则密集网格中表示不同，3D点云是不规则且无序的，因此在其上应用卷积操作较为困难。本文中，我们将动态滤波器扩展到一种新的卷积操作，命名为PointConv。PointConv可以应用于点云以构建深度卷积网络。我们将卷积核视为由权重函数和密度函数组成的3D点局部坐标的非线性函数。对于给定点而言，权重函数通过多层感知机网络学习得到，而密度函数则通过核密度估计获得。本研究最重要的贡献在于提出了一种新颖的重表述方法，用于高效计算权重函数，这使得我们能够显著扩大网络规模并大幅提高其性能。所学得的卷积核可用于计算3D空间中任意点集的平移不变性和排列不变性卷积。此外，PointConv还可以作为反卷积算子，将特征从降采样的点云传播回其原始分辨率。在ModelNet40、ShapeNet和ScanNet上的实验表明，基于PointConv构建的深度卷积神经网络能够在具有挑战性的3D点云语义分割基准测试中达到最先进水平。另外，我们将CIFAR-10转换为点云的实验显示，基于PointConv构建的网络能够匹配类似结构的2D图像卷积网络的性能。