摘要

尽管Transformer架构在机器学习领域已变得无处不在，但其在3D形状识别中的适应并非易事。由于自注意力机制具有二次计算复杂度，当输入点集规模增大时，该机制的计算效率会迅速下降。此外，我们发现注意力机制在全球范围内难以找到单个点之间的有用连接。为了解决这些问题，我们提出了一种两阶段的点Transformer-in-Transformer（Point-TnT）方法，该方法结合了局部和全局注意力机制，使得单个点和点块之间能够有效互相关注。形状分类实验表明，这种方法比基线Transformer提供了更有用的特征用于下游任务，并且计算效率更高。此外，我们还将该方法扩展到场景重建中的特征匹配，展示了其可以与现有的场景重建流水线结合使用。