
摘要
我们提出了一种名为相似性分组提议网络(Similarity Group Proposal Network, SGPN)的简单且直观的深度学习框架,用于点云上的三维物体实例分割。SGPN 仅通过一个网络即可预测每个点的分组提议及其对应的语义类别,从而可直接从中提取出实例分割结果。SGPN 有效性的关键在于其创新性的三维实例分割结果表示方式——以相似性矩阵的形式,表征嵌入特征空间中每对点之间的相似性,从而为每个点生成精确的分组提议。据我们所知,SGPN 是首个在点云上实现三维实例感知语义分割的端到端学习框架。在多种三维场景上的实验结果表明,该方法在三维实例分割任务中具有显著有效性;此外,我们还评估了 SGPN 在提升三维物体检测与语义分割性能方面的潜力。同时,我们通过无缝融合二维卷积神经网络(2D CNN)特征到该框架中,进一步验证了其良好的灵活性与可扩展性。
代码仓库
laughtervv/SGPN
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-object-detection-on-nyu-depth-v2 | SGPN-CNN | MAP: 41.3 |
| 3d-object-detection-on-scannetv2 | SGPN | mAP@0.25: 20.7 |
| 3d-part-segmentation-on-shapenet-part | SGPN | Instance Average IoU: 85.8 |
| 3d-semantic-instance-segmentation-on | SGPN | mAP@0.25: 35.1 |
| 3d-semantic-instance-segmentation-on-1 | SGPN | mAP@0.50: 14.3 |
| instance-segmentation-on-nyu-depth-v2 | SGPN-CNN | mAP@0.5: 30.5 |
| semantic-segmentation-on-shapenet | SGPN | Mean IoU: 85.8% |