
摘要
激光雷达(LiDAR)分割已成为高级自动驾驶系统中的关键组成部分。近年来,基于范围视图(range-view)的LiDAR分割方法在实时处理方面展现出巨大潜力。然而,这类方法不可避免地面临上下文信息受损的问题,并严重依赖后处理技术来优化预测结果。为此,本文提出FRNet——一种简单而高效的方法,旨在通过对应棱锥体(frustum)LiDAR点来恢复范围图像像素的上下文信息。首先,引入一个棱锥体特征编码模块,用于提取棱锥区域内每个点的特征,该设计有效保持了场景的一致性,对点级预测至关重要。其次,设计了一个棱锥点融合模块,以分层方式更新每个点的特征,使各点能够通过棱锥体特征获取更丰富的周围上下文信息。最后,采用头部融合模块对多层级特征进行融合,实现最终的语义分割预测。在四个主流LiDAR分割基准数据集上,针对多种任务设置的大量实验验证了FRNet的优越性能。值得注意的是,FRNet在SemanticKITTI和nuScenes测试集上分别取得了73.3%和82.5%的mIoU(平均交并比)得分。在达到与当前先进方法相当甚至更优性能的同时,FRNet的运行速度比现有最先进方法快约5倍。这一显著的高效性为更可扩展的LiDAR分割应用开辟了新的可能性。相关代码已公开发布于:https://github.com/Xiangxu-0103/FRNet。
代码仓库
Xiangxu-0103/FRNet
官方
pytorch
GitHub 中提及
ldkong1205/Robo3D
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-nuscenes | FRNet | mIoU: 82.5% |
| 3d-semantic-segmentation-on-semantickitti | FRNet | test mIoU: 73.3% val mIoU: 68.7% |
| lidar-semantic-segmentation-on-nuscenes | FRNet | test mIoU: 0.825 val mIoU: 0.790 |