
摘要
Transformer 及其底层的注意力机制和捕捉长距离依赖的能力使其成为处理无序点云数据的自然选择。然而,从总体采样架构中分离出的局部区域破坏了实例的结构信息,而相邻局部区域之间的内在关系也缺乏探索,尽管局部结构信息在基于 Transformer 的 3D 点云模型中至关重要。因此,在本文中,我们提出了一种名为局部上下文传播(Local Context Propagation, LCP)的新模块,以利用相邻局部区域之间的消息传递,使其表示更加丰富和有区分度。具体而言,我们使用相邻局部区域的重叠点(这些点在统计上普遍存在)作为中介,然后重新加权来自不同局部区域的共享点特征,并将其传递到下一层。在两个 Transformer 层之间插入 LCP 模块显著提高了网络的表达能力。最后,我们设计了一种灵活的 LCPFormer 架构,配备了 LCP 模块。所提出的方法适用于不同的任务,并在包括 3D 形状分类和密集预测任务(如 3D 物体检测和语义分割)在内的多个基准测试中优于各种基于 Transformer 的方法。代码将公开发布以便复现。
代码仓库
zhh6425/LocalContextPropagation
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-object-detection-on-sun-rgbd-val | LCPFormer | mAP@0.25: 63.2 mAP@0.5: 46.2 |
| 3d-point-cloud-classification-on-modelnet40 | LCPFormer | Mean Accuracy: 90.7 Overall Accuracy: 93.6 |
| 3d-semantic-segmentation-on-sensaturban | LCPFormer | mIoU: 63.4 |
| semantic-segmentation-on-s3dis-area5 | LCPFormer | Number of params: N/A mAcc: 76.8 mIoU: 70.2 oAcc: 90.8 |