4 个月前

基于时空关联的半监督LiDAR语义分割学习

基于时空关联的半监督LiDAR语义分割学习

摘要

我们解决了半监督激光雷达分割(SSLS)问题在低预算场景下的挑战。低预算SSLS面临的两个主要问题是未标记数据的伪标签质量较差,以及由于地面真实标签与伪标签之间显著不平衡导致的性能下降。这种不平衡会导致一个恶性训练循环。为了克服这些挑战,我们利用了时空先验,通过识别时间上相邻的激光雷达扫描之间的大量重叠来实现这一目标。我们提出了一种基于邻近性的标签估计方法,该方法通过利用与相邻已标记数据的语义一致性,为未标记数据生成高精度的伪标签。此外,我们通过逐步扩展最近的未标记扫描的伪标签来增强这种方法,这有助于显著减少与动态类别相关的错误。另外,我们采用双分支结构来缓解因数据不平衡导致的性能退化。实验结果表明,在低预算设置下(即≤5%),我们的方法表现出色,并且在正常预算设置下(即5-50%)也取得了有意义的改进。最后,我们的方法在半监督激光雷达分割任务中,在SemanticKITTI和nuScenes数据集上达到了新的最先进水平。仅使用5%的标记数据,我们的方法就能提供与全监督方法相当的结果。此外,在nuScenes数据集上,仅使用20%的标记数据(76.0%),我们的方法就超过了之前100%标记数据的最佳性能(75.2%)。代码可在https://github.com/halbielee/PLE 获取。

代码仓库

halbielee/ple
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
semi-supervised-semantic-segmentation-on-24PLE (Voxel)
mIoU (0.5% Labels): 52.2
mIoU (1% Labels): 61.1
mIoU (10% Labels): 63.1
mIoU (2% Labels): 62.9
mIoU (20% Labels): 64.1
mIoU (5% Labels): 62.8
mIoU (50% Labels): 64.3
semi-supervised-semantic-segmentation-on-24PLE (CENet, Range view)
mIoU (0.5% Labels): 46.2
mIoU (1% Labels): 51.5
mIoU (2% Labels): 54.3
mIoU (5% Labels): 58.1
semi-supervised-semantic-segmentation-on-24LaserMix (Voxel)
mIoU (0.5% Labels): 47.3
mIoU (2% Labels): 59.2
mIoU (5% Labels): 61.7
semi-supervised-semantic-segmentation-on-25PLE (Voxel)
mIoU (0.5% Labels): 58
mIoU (1% Labels): 62.9
mIoU (10% Labels): 74.3
mIoU (2% Labels): 67.2
mIoU (20% Labels): 76
mIoU (5% Labels): 72.8
mIoU (50% Labels): 76.1
semi-supervised-semantic-segmentation-on-25LaserMix (Voxel)
mIoU (0.5% Labels): 51.4
mIoU (2% Labels): 63.9
mIoU (5% Labels): 69.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于时空关联的半监督LiDAR语义分割学习 | 论文 | HyperAI超神经