摘要

掩码自动编码器（MAE）在语言和二维图像变压器的自监督预训练中展现出巨大的潜力。然而，如何利用掩码自动编码进行不规则点云的三维表示学习仍然是一个开放问题。在本文中，我们提出了Point-M2AE，这是一种强大的多尺度MAE预训练框架，用于层次化的三维点云自监督学习。与标准的MAE变压器不同，我们将编码器和解码器修改为金字塔架构，以逐步建模空间几何并捕捉三维形状的细粒度和高层次语义。对于分阶段下采样点标记的编码器，我们设计了一种多尺度掩码策略，以生成跨尺度的一致可见区域，并在微调过程中采用了局部空间自注意力机制来关注邻近模式。通过多尺度标记传播，轻量级解码器逐渐上采样点标记，并从编码器接收互补的跳跃连接，这进一步促进了从全局到局部视角的重建。大量实验表明，Point-M2AE在三维表示学习方面达到了最先进的性能。经过预训练后冻结编码器，Point-M2AE在ModelNet40上的线性SVM分类准确率达到92.9%，甚至超过了某些完全训练的方法。通过在下游任务上进行微调，Point-M2AE在ScanObjectNN上的准确率达到86.43%，比第二好的方法高出3.36个百分点，并且通过层次化预训练方案显著提升了少样本分类、部件分割和三维目标检测的效果。代码可在https://github.com/ZrrSkywalker/Point-M2AE 获取。