4 个月前

GFNet:用于3D点云语义分割的几何流网络

GFNet:用于3D点云语义分割的几何流网络

摘要

从投影视图(如范围视图(Range-View, RV)和鸟瞰视图(Bird's-Eye-View, BEV))进行点云语义分割的研究已经得到了广泛的关注。不同的视图捕捉了点云的不同信息,因此它们之间具有互补性。然而,最近基于投影的方法在点云语义分割中通常采用简单的后期融合策略来处理不同视图的预测结果,未能在表示学习过程中从几何角度探索这些互补信息。本文中,我们提出了一种几何流网络(Geometric Flow Network, GFNet),以先对齐再融合的方式探索不同视图之间的几何对应关系。具体而言,我们设计了一个新颖的几何流模块(Geometric Flow Module, GFM),该模块根据几何关系在端到端学习框架下双向对齐并传播不同视图间的互补信息。我们在两个广泛使用的基准数据集——SemanticKITTI 和 nuScenes 上进行了大量实验,以证明我们的 GFNet 在基于投影的点云语义分割中的有效性。具体来说,GFNet 不仅显著提升了每个单独视图的性能,还在所有现有的基于投影的模型中达到了最先进的结果。代码可在以下链接获取:https://github.com/haibo-qiu/GFNet。

代码仓库

haibo-qiu/gfnet
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-semantic-segmentation-on-semantickittiGFNet
test mIoU: 65.4%
lidar-semantic-segmentation-on-nuscenesGFNet
test mIoU: 0.76
robust-3d-semantic-segmentation-onGFNet
mean Corruption Error (mCE): 108.68%
robust-3d-semantic-segmentation-on-nuscenes-cGFNet
mean Corruption Error (mCE): 92.55%

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
GFNet:用于3D点云语义分割的几何流网络 | 论文 | HyperAI超神经