摘要

基于生成预训练变换器（Generative Pre-Training Transformer, GPT）的大规模语言模型（Large Language Models, LLMs）在多种下游任务中展现了卓越的效果。受GPT进展的启发，我们提出了PointGPT，这是一种新颖的方法，将GPT的概念扩展到点云领域，以应对无序特性、低信息密度和任务差异等挑战。具体而言，我们提出了一种点云自回归生成任务来预训练变换器模型。该方法将输入的点云划分为多个点片，并根据它们的空间邻近性将其排列成有序序列。随后，基于提取器-生成器的变换器解码器采用双重掩码策略，在给定前序点片的条件下学习潜在表示，旨在以自回归的方式预测下一个点片。我们的可扩展方法使得学习高容量模型成为可能，并且这些模型具有良好的泛化能力，在各种下游任务中取得了最先进的性能。特别是在ModelNet40数据集上，我们的方法达到了94.9%的分类准确率，在ScanObjectNN数据集上达到了93.4%的分类准确率，优于所有其他变换器模型。此外，我们的方法还在四个少样本学习基准测试中均取得了新的最高准确率。