3 个月前

用于点云三维实例分割的 SoftGroup

用于点云三维实例分割的 SoftGroup

摘要

现有的最先进3D实例分割方法通常采用“语义分割后分组”的范式。在进行语义分割时,模型会做出硬性预测,即每个点仅被分配至单一类别。然而,这种硬性决策所引入的误差会传播至后续的分组阶段,导致两个主要问题:(1) 预测实例与真实标注之间的重叠率较低;(2) 产生大量假阳性实例。为解决上述问题,本文提出一种名为SoftGroup的3D实例分割方法,该方法采用自底向上的软分组策略,随后通过自顶向下的精炼机制进行优化。SoftGroup允许每个点同时关联多个类别,从而缓解因语义预测错误带来的负面影响,并通过学习将假阳性实例识别为背景类别,有效抑制其产生。在多个数据集及多种评估指标下的实验结果表明,SoftGroup具有显著优越性:在ScanNet v2隐藏测试集上,其AP_50指标较最强的先前方法提升6.2%;在S3DIS Area 5数据集上,提升幅度达6.8%。此外,SoftGroup具有较高的推理效率,在单张Titan X显卡上处理每帧扫描仅需345毫秒。本文提供的源代码与训练模型已公开,可访问GitHub仓库:\url{https://github.com/thangvubk/SoftGroup.git}。

代码仓库

thangvubk/softgroup
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-instance-segmentation-on-s3disSoftGroup
AP@50: 68.9
mAP: 54.4
mCov: 69.3
mPrec: 75.3
mRec: 69.8
mWCov: 71.7
3d-instance-segmentation-on-scannetv2SoftGroup
mAP: 50.4
mAP @ 50: 76.1
mAP@25: 86.5
3d-instance-segmentation-on-stpls3dSoftGroup
AP: 47.3
AP25: 71.4
AP50: 63.1
3d-object-detection-on-scannetv2SoftGroup
mAP@0.25: 71.6
mAP@0.5: 59.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于点云三维实例分割的 SoftGroup | 论文 | HyperAI超神经