摘要

现代3D语义实例分割方法主要依赖于专门的投票机制，随后采用精心设计的几何聚类技术。借鉴近期基于Transformer的对象检测和图像分割方法的成功经验，我们提出了首个基于Transformer的3D语义实例分割方法。我们展示了如何利用通用的Transformer构建模块直接从3D点云预测实例掩码。在我们的模型Mask3D中，每个物体实例都表示为一个实例查询。通过使用Transformer解码器，这些实例查询可以通过迭代关注多尺度点云特征来学习。结合点特征，实例查询可以直接并行生成所有实例掩码。与当前最先进的方法相比，Mask3D具有多项优势，因为它既不依赖于（1）需要手动选择几何属性（如中心）的投票方案，也不依赖于（2）需要手动调整超参数（例如半径）的几何分组机制，并且（3）能够实现直接优化实例掩码的损失函数。Mask3D在ScanNet测试集上取得了新的最佳性能（+6.2 mAP），在S3DIS六折交叉验证上提升了10.1 mAP，在STPLS3D上提升了11.2 mAP，在ScanNet200测试集上则提升了12.4 mAP。