HyperAIHyperAI

Command Palette

Search for a command to run...

PointGPT:基于点云的自回归生成预训练模型

Guangyan Chen Meiling Wang Yi Yang Kai Yu Li Yuan Yufeng Yue

摘要

基于生成预训练变换器(Generative Pre-Training Transformer, GPT)的大规模语言模型(Large Language Models, LLMs)在多种下游任务中展现了卓越的效果。受GPT进展的启发,我们提出了PointGPT,这是一种新颖的方法,将GPT的概念扩展到点云领域,以应对无序特性、低信息密度和任务差异等挑战。具体而言,我们提出了一种点云自回归生成任务来预训练变换器模型。该方法将输入的点云划分为多个点片,并根据它们的空间邻近性将其排列成有序序列。随后,基于提取器-生成器的变换器解码器采用双重掩码策略,在给定前序点片的条件下学习潜在表示,旨在以自回归的方式预测下一个点片。我们的可扩展方法使得学习高容量模型成为可能,并且这些模型具有良好的泛化能力,在各种下游任务中取得了最先进的性能。特别是在ModelNet40数据集上,我们的方法达到了94.9%的分类准确率,在ScanObjectNN数据集上达到了93.4%的分类准确率,优于所有其他变换器模型。此外,我们的方法还在四个少样本学习基准测试中均取得了新的最高准确率。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
PointGPT:基于点云的自回归生成预训练模型 | 论文 | HyperAI超神经