摘要

迄今为止，各种三维场景理解任务仍缺乏实用且可泛化的预训练模型，这主要是由于三维场景理解任务的复杂性质以及由相机视角、光照、遮挡等因素引入的巨大变化所致。本文中，我们通过引入一种时空表示学习（Spatio-Temporal Representation Learning, STRL）框架来应对这一挑战，该框架能够在自监督模式下从无标签的三维点云数据中进行学习。受婴儿在自然环境中从视觉数据中学习的启发，我们探索了源自三维数据的丰富时空线索。具体而言，STRL以三维点云序列中的两个时间相关帧作为输入，通过空间数据增强对其进行变换，并以自监督的方式学习不变表示。为了验证STRL的有效性，我们在三种类型的数据集（合成、室内和室外）上进行了广泛的实验。实验结果表明，与监督学习方法相比，所学的自监督表示不仅能够使各种模型达到相当甚至更好的性能，还能够将预训练模型泛化到下游任务中，包括三维形状分类、三维目标检测和三维语义分割。此外，嵌入在三维点云中的时空上下文线索显著提升了所学表示的质量。