4 个月前

利用Transformer中的归纳偏置进行点云分类和分割

利用Transformer中的归纳偏置进行点云分类和分割

摘要

从点坐标中发现点间连接以实现高效高维特征提取是处理点云的关键挑战之一。大多数现有方法要么专注于设计高效的局部特征提取器而忽视全局连接,要么反之。在本文中,我们设计了一种新的基于归纳偏置的变压器(Inductive Bias-aided Transformer, IBT)方法来学习三维点间关系,该方法同时考虑了局部和全局注意力机制。具体而言,考虑到局部空间一致性,局部特征学习通过相对位置编码和注意特征池化来完成。我们将学到的局部性融入到变压器模块中。局部特征影响变压器中的值组件,以调节每个点的通道之间的关系,从而通过基于局部性的通道交互增强自注意力机制。我们在分类和分割任务上进行了实验验证,展示了其优越性。代码可在以下地址获取:https://github.com/jiamang/IBT

代码仓库

jiamang/ibt
官方
pytorch

基准测试

基准方法指标
3d-object-classification-on-modelnet40Ours
Classification Accuracy: 93.6
3d-part-segmentation-on-shapenet-partOurs
Instance Average IoU: 86.2
point-cloud-classification-on-isprsOurs
Average F1: 82.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
利用Transformer中的归纳偏置进行点云分类和分割 | 论文 | HyperAI超神经