3 个月前

ISBNet:一种具有实例感知采样与框感知动态卷积的3D点云实例分割网络

ISBNet:一种具有实例感知采样与框感知动态卷积的3D点云实例分割网络

摘要

现有的3D实例分割方法主要采用自底向上的设计范式——即通过人工调优的算法将点云分组为簇,再由精炼网络进行优化。然而,这类方法严重依赖于簇的质量,在以下两种情况下表现脆弱:(1)语义类别相同的邻近物体被紧密包裹在一起;(2)具有松散连接区域的大尺寸物体。为解决上述局限,我们提出ISBNet,一种全新的无簇(cluster-free)方法。该方法将实例表示为卷积核,并通过动态卷积解码实例掩码。为高效生成高召回率且具有区分性的核,我们提出一种简单而有效的策略——实例感知最远点采样(Instance-aware Farthest Point Sampling),用于候选核的采样,并借鉴PointNet++中的局部聚合模块来编码候选特征。此外,我们进一步证明,在动态卷积中预测并利用3D轴对齐边界框可显著提升性能。在ScanNetV2(AP 55.9)、S3DIS(AP 60.8)和STPLS3D(AP 49.2)三个基准数据集上,本方法取得了新的最先进性能,同时保持了快速的推理速度(在ScanNetV2上每场景仅需237ms)。项目源代码与训练好的模型已公开,详见:https://github.com/VinAIResearch/ISBNet。

代码仓库

VinAIResearch/ISBNet
官方
pytorch
GitHub 中提及
yunshin/SphericalMask
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-instance-segmentation-on-s3disISBNet
AP@50: 70.5
mAP: 60.8
mCov: 74.9
mPrec: 77.5
mRec: 77.1
mWCov: 76.8
3d-instance-segmentation-on-scannet200ISBNet
mAP: 24.5
3d-instance-segmentation-on-scannetv2ISBNet
mAP: 55.9
mAP @ 50: 76.3
mAP@25: 84.5
3d-instance-segmentation-on-stpls3dISBNet
AP: 49.2
AP50: 64.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ISBNet:一种具有实例感知采样与框感知动态卷积的3D点云实例分割网络 | 论文 | HyperAI超神经