摘要

点云学习领域正经历从卷积神经网络（CNNs）向Transformer架构的建模范式转变，纯Transformer架构已在主流学习基准上取得了顶尖的准确率。然而，现有的点云Transformer模型计算成本较高，因其需生成大规模的注意力图，该过程在空间和时间复杂度上均呈输入尺寸的二次增长。为解决这一瓶颈，本文提出Patch ATtention（PAT）机制，通过自适应学习一组极小的基函数来构建注意力图。基于这些基函数的加权组合，PAT不仅能够捕捉全局形状上下文信息，还实现了与输入规模呈线性关系的复杂度。此外，本文进一步提出一种轻量级的多尺度注意力（Multi-Scale aTtention, MST）模块，用于在不同尺度的特征间建立注意力关系，从而赋予模型多尺度特征表达能力。结合PAT与MST模块，我们构建了名为PatchFormer的新型神经网络架构，将二者统一整合于一个联合框架中，用于点云学习任务。大量实验表明，所提出的网络在通用点云学习任务上达到了与以往点云Transformer相当的准确率，同时推理速度提升达9.2倍。