
摘要
卷积神经网络(CNNs)在二维计算机视觉领域取得了重大突破。然而,由于其结构不规则,难以直接将CNN的潜力应用于三角网格数据。细分曲面(subdivision surface)提供了一种分层的多分辨率结构,其中闭合的2-流形三角网格中每个面恰好与三个相邻面相连。基于上述两个观察,本文提出了一种创新且通用的CNN框架——SubdivNet,用于处理具有Loop细分序列连通性的三维三角网格。通过将网格面与二维图像中的像素类比,我们设计了一种网格卷积算子,能够聚合邻近面的局部特征。借助面邻域的结构特性,该卷积操作可支持标准二维卷积网络中的多种概念,如可变卷积核大小、步长(stride)和空洞率(dilation)。基于多分辨率层次结构,我们引入了池化层,可将四个面均匀合并为一个面;同时设计了一种上采样方法,将一个面分割为四个面。由此,众多流行的二维CNN架构可被轻松适配以处理三维网格数据。对于任意连通性结构的网格,可通过自参数化方法重采样为具有Loop细分序列连通性的网格,从而使得SubdivNet具备通用性。大量实验评估与多样化应用充分验证了SubdivNet在性能与效率方面的有效性。
代码仓库
lzhengning/SubdivNet
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pose-estimation-on-salsa | Pointnet (Qi et al., [2017a]) | Accuracy: 74.7 |
| pose-estimation-on-salsa | Pointnet++ (Qi et al., [2017b]) | Accuracy: 82.3 |
| pose-estimation-on-salsa | MeshCNN (Hanocka et al., 2019) | Accuracy: 87.7 |
| pose-estimation-on-salsa | SubdivNet | Accuracy: 93 |