4 个月前

球形掩模:基于球面表示的粗到细3D点云实例分割

球形掩模:基于球面表示的粗到细3D点云实例分割

摘要

粗到精3D实例分割方法在与最近的基于分组、基于核和基于Transformer的方法相比时表现出较弱的性能。我们认为这是由于两个限制:1)通过轴对齐边界框(AABB)导致的实例尺寸高估;2)从不准确的边界框到细化阶段的假阴性错误累积。在这项工作中,我们引入了一种新的基于球面表示的粗到精方法——球形掩模(Spherical Mask),该方法克服了上述两个限制并具有多项优势。具体而言,我们的粗检测模块通过中心点和径向距离预测来估计每个实例的3D多边形,从而避免了AABB带来的过度尺寸估计问题。为了减少现有粗到精方法中的误差传播,我们根据多边形虚拟迁移点,使得所有前景点(包括假阴性点)都能被细化。在推理过程中,提议模块和点迁移模块并行运行,并组合形成实例的二值掩模。我们还引入了两种基于边缘的损失函数来修正假阳性/假阴性点并增强前景点的一致性,显著提升了性能。来自ScanNetV2、S3DIS和STPLS3D三个数据集的实验结果表明,我们提出的方法优于现有的工作,展示了使用球面坐标的新实例表示的有效性。代码可在以下地址获取:https://github.com/yunshin/SphericalMask

代码仓库

yunshin/SphericalMask
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-instance-segmentation-on-scannetv2Spherical Mask
mAP: 61.6
mAP @ 50: 81.2
mAP@25: 87.5
3d-instance-segmentation-on-stpls3dSpherical Mask
AP: 52.2
AP50: 68.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
球形掩模:基于球面表示的粗到细3D点云实例分割 | 论文 | HyperAI超神经