4 个月前

二维特征蒸馏在弱监督和半监督三维语义分割中的应用

二维特征蒸馏在弱监督和半监督三维语义分割中的应用

摘要

随着3D感知问题日益受到关注以及对大规模标注数据集的需求增加,用于LiDAR语义分割的新方法不断涌现,这些方法旨在通过弱监督训练减少密集注释的必要性。然而,这些方法在小物体和远距离稀疏区域的边界估计方面仍然表现不佳,且误报率较高。我们认为,这些弱点可以通过使用提供更密集场景表示的RGB图像来弥补。我们提出了一种图像引导网络(IGNet),该网络基于从域适应合成训练的2D语义分割网络中提取高层次特征信息的思想。此外,我们还利用了一种单向对比学习方案以及一种称为FOVMix的新颖混合策略,以解决两种传感器之间的水平视场角不匹配问题,并增强图像引导的效果。IGNet在ScribbleKITTI数据集上实现了弱监督LiDAR语义分割的最先进结果,仅使用8%的标注点即可达到完全监督训练高达98%的相对性能,同时在推理过程中不会引入额外的标注负担或计算/内存成本。此外,我们还证明了我们的贡献在半监督训练中同样有效,IGNet在ScribbleKITTI和SemanticKITTI数据集上均取得了最先进成果。

基准测试

基准方法指标
3d-semantic-segmentation-on-scribblekittiIGNet
mIoU: 62.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
二维特征蒸馏在弱监督和半监督三维语义分割中的应用 | 论文 | HyperAI超神经