4 个月前

LCPFormer:通过变压器中的局部上下文传播实现有效的3D点云分析

LCPFormer:通过变压器中的局部上下文传播实现有效的3D点云分析

摘要

Transformer 及其底层的注意力机制和捕捉长距离依赖的能力使其成为处理无序点云数据的自然选择。然而,从总体采样架构中分离出的局部区域破坏了实例的结构信息,而相邻局部区域之间的内在关系也缺乏探索,尽管局部结构信息在基于 Transformer 的 3D 点云模型中至关重要。因此,在本文中,我们提出了一种名为局部上下文传播(Local Context Propagation, LCP)的新模块,以利用相邻局部区域之间的消息传递,使其表示更加丰富和有区分度。具体而言,我们使用相邻局部区域的重叠点(这些点在统计上普遍存在)作为中介,然后重新加权来自不同局部区域的共享点特征,并将其传递到下一层。在两个 Transformer 层之间插入 LCP 模块显著提高了网络的表达能力。最后,我们设计了一种灵活的 LCPFormer 架构,配备了 LCP 模块。所提出的方法适用于不同的任务,并在包括 3D 形状分类和密集预测任务(如 3D 物体检测和语义分割)在内的多个基准测试中优于各种基于 Transformer 的方法。代码将公开发布以便复现。

代码仓库

基准测试

基准方法指标
3d-object-detection-on-sun-rgbd-valLCPFormer
mAP@0.25: 63.2
mAP@0.5: 46.2
3d-point-cloud-classification-on-modelnet40LCPFormer
Mean Accuracy: 90.7
Overall Accuracy: 93.6
3d-semantic-segmentation-on-sensaturbanLCPFormer
mIoU: 63.4
semantic-segmentation-on-s3dis-area5LCPFormer
Number of params: N/A
mAcc: 76.8
mIoU: 70.2
oAcc: 90.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LCPFormer:通过变压器中的局部上下文传播实现有效的3D点云分析 | 论文 | HyperAI超神经