3 个月前

OccuSeg:感知占据信息的3D实例分割

OccuSeg:感知占据信息的3D实例分割

摘要

三维实例分割在机器人学与增强现实等领域具有广泛应用,目前需求日益增长。与仅能提供环境投影观测的二维图像不同,三维模型能够实现无遮挡、无尺度模糊的场景度量重建。本文提出“三维占据体积”(3D occupancy size)这一概念,定义为每个实例所占据的体素(voxel)数量。该指标具有预测鲁棒性强的优势,基于此,我们提出了一种感知占据信息的三维实例分割方法——OccuSeg。该方法采用多任务学习框架,同时生成占据信号与嵌入表示,其中空间嵌入与特征嵌入的训练策略根据其尺度感知差异进行差异化设计。我们的聚类策略得益于预测占据体积与聚类后占据体积之间的可靠对比,能够有效促使难样本被正确聚类,同时避免过度分割问题。所提出的算法在三个真实世界数据集(ScanNetV2、S3DIS 和 SceneNN)上均取得了当前最优的性能表现,同时保持了较高的运行效率。

基准测试

基准方法指标
3d-instance-segmentation-on-scenenn-1OccuSeg
mAP@0.5: 47.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
OccuSeg:感知占据信息的3D实例分割 | 论文 | HyperAI超神经