4 个月前

Pamba:通过状态空间模型增强点云的全局交互

Pamba:通过状态空间模型增强点云的全局交互

摘要

变压器在3D点云语义分割中展示了令人印象深刻的结果。然而,变压器的二次复杂度导致计算成本高昂,限制了可以同时处理的点数,并阻碍了对单个场景中物体之间长程依赖关系的建模。受到最近状态空间模型(SSM)在长序列建模方面巨大潜力的启发,我们引入了一种基于SSM的架构——Mamba,并提出了Pamba,这是一种具有强大全局建模能力且复杂度为线性的新型架构。具体而言,为了使点云的无序性适应Mamba的因果特性,我们提出了一种适用于点云的多路径序列化策略。此外,我们还提出了ConvMamba模块,以弥补Mamba在局部几何建模和单向建模方面的不足。Pamba在多个3D点云分割任务上取得了最先进的结果,包括ScanNet v2、ScanNet200、S3DIS和nuScenes,并通过大量实验验证了其有效性。

基准测试

基准方法指标
3d-semantic-segmentation-on-scannet200Pamba
test mIoU: 37.1
val mIoU: 36.3
semantic-segmentation-on-s3dis-area5Pamba
mIoU: 73.5
semantic-segmentation-on-scannetPamba
val mIoU: 77.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供