
摘要
粗到精3D实例分割方法在与最近的基于分组、基于核和基于Transformer的方法相比时表现出较弱的性能。我们认为这是由于两个限制:1)通过轴对齐边界框(AABB)导致的实例尺寸高估;2)从不准确的边界框到细化阶段的假阴性错误累积。在这项工作中,我们引入了一种新的基于球面表示的粗到精方法——球形掩模(Spherical Mask),该方法克服了上述两个限制并具有多项优势。具体而言,我们的粗检测模块通过中心点和径向距离预测来估计每个实例的3D多边形,从而避免了AABB带来的过度尺寸估计问题。为了减少现有粗到精方法中的误差传播,我们根据多边形虚拟迁移点,使得所有前景点(包括假阴性点)都能被细化。在推理过程中,提议模块和点迁移模块并行运行,并组合形成实例的二值掩模。我们还引入了两种基于边缘的损失函数来修正假阳性/假阴性点并增强前景点的一致性,显著提升了性能。来自ScanNetV2、S3DIS和STPLS3D三个数据集的实验结果表明,我们提出的方法优于现有的工作,展示了使用球面坐标的新实例表示的有效性。代码可在以下地址获取:https://github.com/yunshin/SphericalMask
代码仓库
yunshin/SphericalMask
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-instance-segmentation-on-scannetv2 | Spherical Mask | mAP: 61.6 mAP @ 50: 81.2 mAP@25: 87.5 |
| 3d-instance-segmentation-on-stpls3d | Spherical Mask | AP: 52.2 AP50: 68.3 |