
摘要
近年来,三维点云分析领域涌现出多种多样化的网络架构。然而,由于缺乏一个统一的框架来解释这些网络,使得系统性地比较、对比或分析各类方法变得极为困难,也在很大程度上制约了该领域的健康发展。本文率先开展探索,提出一种名为 PointMeta 的统一框架,旨在兼容当前主流的三维点云分析方法。该框架带来三大优势:其一,它能够以公平的方式比较不同方法,并通过快速实验验证从比较中总结出的经验性观察或假设;其二,PointMeta 提供的宏观视角使我们能够跨越不同组件进行思考,重新审视主流方法中普遍存在的认知与关键设计决策;其三,基于前两阶段的深入分析,通过对现有方法进行简单调整,我们提炼出一个基础构建模块,命名为 PointMetaBase。在多个具有挑战性的基准测试中,大量实验表明,PointMetaBase 在效率与有效性方面均表现出色,充分验证了高层级的统一解释、对比与分析(如 PointMeta 所实现的)的必要性与价值。特别地,在 S3DIS 数据集上,PointMetaBase 以仅 2%/11%/13% 的计算开销,分别实现了 0.7%/1.4%/2.1% 的 mIoU 提升,超越了此前的最先进方法。
代码仓库
linhaojia13/pointmetabase
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-semantic-segmentation-on-opentrench3d | PointMetaBase-XXL | Model Size: 19.7M mAcc: 84.5 mIoU: 75.8 |
| semantic-segmentation-on-s3dis | PointMetaBase-XXL | FLOPs: 11.0G Mean IoU: 77.0 Number of params: 19.7M Params (M): 19.7 oAcc: 91.3 |
| semantic-segmentation-on-s3dis-area5 | PointMetaBase-XXL | Number of params: N/A mIoU: 71.3±0.7 |