HyperAIHyperAI

Command Palette

Search for a command to run...

基于自定位点的Transformer用于点云理解

Jinyoung Park Sanghyeok Lee Sihyeon Kim Yunyang Xiong Hyunwoo J. Kim

摘要

Transformer 模型在各种计算机视觉任务中表现出色,得益于其捕捉长距离依赖关系的能力。然而,由于点云数据中的点数导致的二次成本问题,直接将 Transformer 应用于点云仍然具有挑战性。本文提出了一种自定位点基 Transformer(SPoTr),旨在以降低复杂度的方式捕捉局部和全局形状上下文。具体而言,该架构由局部自注意力机制和自定位点基全局交叉注意力机制组成。自定位点根据输入形状自适应地定位,通过解耦注意力机制同时考虑空间和语义信息,从而提高模型的表达能力。借助这些自定位点,我们提出了一种新的适用于点云的全局交叉注意力机制,通过允许注意力模块仅使用少量的自定位点来计算注意力权重,提高了全局自注意力机制的可扩展性。实验结果表明,SPoTr 在形状分类、部件分割和场景分割等三项点云任务上表现出有效性。特别是在 ScanObjectNN 数据集上的形状分类任务中,我们的模型相比之前的最佳模型实现了 2.6% 的准确率提升。我们还提供了定性分析以展示自定位点的可解释性。SPoTr 的代码可在 https://github.com/mlvlab/SPoTr 获取。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供