摘要

预训练点云模型在三维理解任务（如物体分类和部件分割）中得到了广泛应用。然而，下游任务中普遍采用的全量微调策略导致了每项任务的模型参数存储开销巨大，这限制了大规模预训练模型的应用效率。受近期视觉提示调优（Visual Prompt Tuning, VPT）成功的启发，本文尝试探索预训练点云模型上的提示调优，以寻求性能与参数效率之间的优雅平衡。我们发现，实例无关的静态提示（例如VPT）在下游迁移中表现出一定的效果，但对现实世界点云数据中由各种噪声引起的分布多样性较为敏感。为克服这一局限，我们提出了一种新颖的实例感知动态提示调优（Instance-aware Dynamic Prompt Tuning, IDPT）策略用于预训练点云模型。IDPT的核心在于开发一个动态提示生成模块，该模块能够感知每个点云实例的语义先验特征，并生成自适应的提示标记以增强模型的鲁棒性。值得注意的是，大量实验表明，在仅使用7%可训练参数的情况下，IDPT在大多数任务中的表现优于全量微调，为预训练点云模型的参数高效学习提供了一个有前景的解决方案。代码可在以下网址获取：\url{https://github.com/zyh16143998882/ICCV23-IDPT}。