摘要

点云提供的几何和颜色信息对于三维场景理解都至关重要。这两类信息从不同角度描述了点云的特征，但现有的方法在区分和关联这些信息方面缺乏精细的设计。因此，我们探索了一种能够更好地利用点云信息关系的三维自监督范式。具体而言，我们提出了一种通过几何-颜色对比（Point-GCC）实现的通用三维场景预训练框架，该框架使用Siamese网络对齐几何和颜色信息。为了适应实际应用任务，我们设计了：(i) 层次监督机制，包括基于新颖的深度聚类模块的点级对比和对象级对比，以缩小预训练与下游任务之间的差距；(ii) 与架构无关的主干网络，以便适应各种下游模型。得益于与下游任务相关的对象级表示，Point-GCC可以直接评估模型性能，实验结果证明了我们方法的有效性。在广泛的任务上的迁移学习结果也显示了在所有数据集上的一致改进，例如，在SUN RGB-D和S3DIS数据集上取得了新的最先进的目标检测结果。代码将在https://github.com/Asterisci/Point-GCC发布。