
摘要
早期的研究展示了基于深度学习的方法在点云分割领域的潜力;然而,这些方法仍需改进以达到实际应用的要求。为此,我们提出了一种新的模型SqueezeSegV2,该模型对LiDAR点云中的dropout噪声具有更强的鲁棒性。通过改进模型结构、训练损失函数、批归一化以及增加额外的输入通道,SqueezeSegV2在使用真实数据进行训练时实现了显著的精度提升。训练用于点云分割的模型需要大量的标注点云数据,而获取这些数据的成本较高。为了绕过数据收集和标注的成本问题,可以使用如GTA-V这样的模拟器来生成无限量的标注合成数据。然而,由于领域偏移(domain shift),在合成数据上训练的模型通常难以很好地泛化到现实世界中。为了解决这一问题,我们设计了一个包含三个主要组件的域适应训练管道:1)学习强度渲染(learned intensity rendering),2)测地相关对齐(geodesic correlation alignment),3)逐步域校准(progressive domain calibration)。当使用真实数据进行训练时,我们的新模型相比原始SqueezeSeg在分割精度上提高了6.0%-8.6%。而在使用所提出的域适应管道对合成数据进行训练后,我们在真实世界数据上的测试精度几乎翻倍,从29.0%提高到了57.4%。我们将开源我们的源代码和合成数据集。
代码仓库
xuanyuzhou98/SqueezeSegV2
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-semantickitti | SqueezeSegV2 | test mIoU: 39.7% |
| robust-3d-semantic-segmentation-on | SqueezeSegV2 (64x2048) | mean Corruption Error (mCE): 152.45% |