摘要

近期，利用预训练技术增强点云模型已成为一个热门研究课题。然而，现有的方法通常需要对预训练模型进行全面微调，才能在下游任务中达到令人满意的性能，这不仅存储密集且计算成本高昂。为了解决这一问题，我们提出了一种新的参数高效微调（PEFT）方法，专门针对点云模型，称为PointGST（点云图谱调优）。PointGST冻结了预训练模型，并引入了一个轻量级、可训练的点云图谱适配器（PCSA），以在频谱域内微调参数。该方法的核心思想基于两个观察结果：1）冻结模型中的内部标记在空间域中可能存在混淆；2）特定任务的内在信息对于将一般知识迁移到下游任务至关重要。具体而言，PointGST将点标记从空间域转换到频谱域，通过使用正交分量进行分离，有效减少了标记之间的混淆。此外，生成的频谱基包含了关于下游点云的内在信息，使得调整更加有针对性。因此，PointGST不仅促进了通用知识向下游任务的有效迁移，还显著降低了训练成本。在多个具有挑战性的点云数据集上进行的广泛实验表明，PointGST不仅超越了其全面微调的对应方法，在各种任务中表现出色，而且大幅减少了可训练参数的数量，成为一种高效的点云学习解决方案。它在ScanObjNN OBJ BG、OBJ OBLY和PB T50 RS数据集上的性能分别提高了2.28%、1.16%和2.78%，达到了99.48%、97.76%和96.18%的准确率。这一进展仅使用了0.67%的可训练参数，确立了新的最先进水平。