
摘要
现有的3D实例分割方法主要采用自底向上的设计范式——即通过人工调优的算法将点云分组为簇,再由精炼网络进行优化。然而,这类方法严重依赖于簇的质量,在以下两种情况下表现脆弱:(1)语义类别相同的邻近物体被紧密包裹在一起;(2)具有松散连接区域的大尺寸物体。为解决上述局限,我们提出ISBNet,一种全新的无簇(cluster-free)方法。该方法将实例表示为卷积核,并通过动态卷积解码实例掩码。为高效生成高召回率且具有区分性的核,我们提出一种简单而有效的策略——实例感知最远点采样(Instance-aware Farthest Point Sampling),用于候选核的采样,并借鉴PointNet++中的局部聚合模块来编码候选特征。此外,我们进一步证明,在动态卷积中预测并利用3D轴对齐边界框可显著提升性能。在ScanNetV2(AP 55.9)、S3DIS(AP 60.8)和STPLS3D(AP 49.2)三个基准数据集上,本方法取得了新的最先进性能,同时保持了快速的推理速度(在ScanNetV2上每场景仅需237ms)。项目源代码与训练好的模型已公开,详见:https://github.com/VinAIResearch/ISBNet。
代码仓库
VinAIResearch/ISBNet
官方
pytorch
GitHub 中提及
yunshin/SphericalMask
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-instance-segmentation-on-s3dis | ISBNet | AP@50: 70.5 mAP: 60.8 mCov: 74.9 mPrec: 77.5 mRec: 77.1 mWCov: 76.8 |
| 3d-instance-segmentation-on-scannet200 | ISBNet | mAP: 24.5 |
| 3d-instance-segmentation-on-scannetv2 | ISBNet | mAP: 55.9 mAP @ 50: 76.3 mAP@25: 84.5 |
| 3d-instance-segmentation-on-stpls3d | ISBNet | AP: 49.2 AP50: 64.0 |