摘要

本文提出了一种名为JSNet的新型联合实例分割与语义分割方法，旨在同时实现三维点云的实例分割与语义分割。首先，我们构建了一个高效的主干网络，用于从原始点云中提取鲁棒的特征。其次，为获得更具判别性的特征，提出了一种点云特征融合模块，用于融合主干网络中不同层次的特征。此外，设计了一种联合实例-语义分割模块，将语义特征映射至实例嵌入空间，并将映射后的特征与实例特征进一步融合，以辅助实例分割；同时，该模块还将实例特征聚合至语义特征空间，以提升语义分割性能。最后，通过在实例嵌入上应用简单的均值漂移聚类（mean-shift clustering）算法生成实例预测结果。为验证所提方法的有效性，我们在大规模室内三维点云数据集S3DIS以及部件数据集ShapeNet上进行了实验，并与现有方法进行了对比。实验结果表明，JSNet在三维实例分割任务上显著优于当前最优方法，同时在三维语义分割性能上也取得明显提升，且在部件分割任务中同样表现出良好效果。本工作的源代码已开源，地址为：https://github.com/dlinzhao/JSNet。