3 个月前

用于3D实例分割的分层聚合

用于3D实例分割的分层聚合

摘要

点云实例分割是三维场景感知中的基础任务。本文提出了一种简洁的基于聚类的框架HAIS,充分挖掘点与点集之间的空间关系。针对基于聚类的方法可能引发过分割或欠分割的问题,我们引入了层次化聚合机制,分步生成实例候选:首先进行点聚合,将点初步聚类为点集;随后进行集聚合,从点集生成完整的三维实例。在获得完整的3D实例后,引入一个内部实例预测子网络,用于剔除噪声点并进行掩码质量评分。HAIS具有高效性(每帧仅需410毫秒),且无需非极大值抑制(non-maximum suppression)。在ScanNet v2基准测试中,HAIS取得第一名,达到69.9%的AP50,显著超越此前的最先进方法(SOTA)。此外,在S3DIS数据集上取得的SOTA性能也验证了该方法出色的泛化能力。代码将开源,地址为:https://github.com/hustvl/HAIS。

代码仓库

hustvl/HAIS
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-instance-segmentation-on-s3disHAIS
mCov: 67.0
mPrec: 73.2
mRec: 69.4
mWCov: 70.4
3d-instance-segmentation-on-scannetv2HAIS
mAP: 45.7
mAP @ 50: 69.9
3d-instance-segmentation-on-stpls3dHAIS
AP: 35.1
AP25: 52.8
AP50: 46.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于3D实例分割的分层聚合 | 论文 | HyperAI超神经