摘要

近期关于3D语义分割的研究提出，通过分别使用专用网络处理图像与点云数据，并将学习得到的2D特征投影至3D点上，以实现图像与点云之间的协同作用。然而，将大规模点云与图像进行融合面临诸多挑战，包括建立点与像素之间的对应关系，以及在多视角间聚合特征。现有方法通常依赖网格重建或专用传感器来恢复遮挡区域，并采用启发式策略选择并聚合可用图像。相比之下，我们提出一种端到端可训练的多视角特征聚合模型，该模型利用3D点的观测条件，实现从任意位置拍摄的图像中融合特征。我们的方法可兼容标准的2D与3D网络架构，在无需颜色化、网格化或真实深度图的前提下，性能超越仅基于彩色点云的3D模型以及现有的2D/3D混合网络。在S3DIS数据集（6折交叉验证，mIoU达74.7）和KITTI-360数据集（mIoU达58.3）上，我们取得了当前最先进的大规模室内/室外语义分割性能。完整算法流程已开源，项目地址为：https://github.com/drprojects/DeepViewAgg，仅需原始3D扫描数据、一组图像及其位姿信息即可运行。