
摘要
从投影视图(如范围视图(Range-View, RV)和鸟瞰视图(Bird's-Eye-View, BEV))进行点云语义分割的研究已经得到了广泛的关注。不同的视图捕捉了点云的不同信息,因此它们之间具有互补性。然而,最近基于投影的方法在点云语义分割中通常采用简单的后期融合策略来处理不同视图的预测结果,未能在表示学习过程中从几何角度探索这些互补信息。本文中,我们提出了一种几何流网络(Geometric Flow Network, GFNet),以先对齐再融合的方式探索不同视图之间的几何对应关系。具体而言,我们设计了一个新颖的几何流模块(Geometric Flow Module, GFM),该模块根据几何关系在端到端学习框架下双向对齐并传播不同视图间的互补信息。我们在两个广泛使用的基准数据集——SemanticKITTI 和 nuScenes 上进行了大量实验,以证明我们的 GFNet 在基于投影的点云语义分割中的有效性。具体来说,GFNet 不仅显著提升了每个单独视图的性能,还在所有现有的基于投影的模型中达到了最先进的结果。代码可在以下链接获取:https://github.com/haibo-qiu/GFNet。
代码仓库
haibo-qiu/gfnet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-semantickitti | GFNet | test mIoU: 65.4% |
| lidar-semantic-segmentation-on-nuscenes | GFNet | test mIoU: 0.76 |
| robust-3d-semantic-segmentation-on | GFNet | mean Corruption Error (mCE): 108.68% |
| robust-3d-semantic-segmentation-on-nuscenes-c | GFNet | mean Corruption Error (mCE): 92.55% |