3 个月前

窗口归一化:通过统一不一致的点密度提升点云理解能力

窗口归一化:通过统一不一致的点密度提升点云理解能力

摘要

下采样与特征提取是理解三维点云的关键步骤。现有方法受限于点云中不同区域点密度不一致的问题。本文针对下采样阶段的局限性进行了分析,并提出了一种预抽象阶段的分组窗口归一化模块(pre-abstraction group-wise window-normalization module)。具体而言,通过引入窗口归一化方法,有效统一了点云中不同区域的点密度分布;同时,采用分组策略以提取多种类型的特征,包括纹理信息与空间结构信息。此外,本文还设计了预抽象模块,以实现局部特征与全局特征之间的平衡。大量实验表明,所提出的模块在多个任务上均表现出优越性能。在S3DIS数据集(Area 5)的分割任务中,该模块在小物体识别方面表现更优,分割结果边界更加精确。例如,沙发(sofa)和柱子(column)的识别准确率分别从69.2%提升至84.4%,从42.7%提升至48.7%。整体指标方面,mIoU/mAcc/OA分别由71.7%/77.6%/91.9%提升至72.2%/78.2%/91.4%。在S3DIS上的六折交叉验证中,准确率达到了77.6%/85.8%/91.7%,在mIoU指标上比当前最优模型PointNeXt-XL(74.9%/83.0%/90.3%)提升了2.7%,达到了当前最优水平。相关代码与模型已开源,地址为:https://github.com/DBDXSS/Window-Normalization.git。

代码仓库

基准测试

基准方法指标
semantic-segmentation-on-s3disWindowNorm+PointTransformer
Mean IoU: 74.1
Number of params: 8.0M
Params (M): 8
mAcc: 82.5
oAcc: 90.2
semantic-segmentation-on-s3disWindowNorm+StratifiedTransformer
Mean IoU: 77.6
Number of params: 8.2M
Params (M): 8.2
mAcc: 85.8
oAcc: 91.7
semantic-segmentation-on-s3dis-area5WindowNorm+PointTransformer
Number of params: N/A
mAcc: 77.9
mIoU: 71.4
oAcc: 91.1
semantic-segmentation-on-s3dis-area5WindowNorm+StratifiedTransformer
Number of params: N/A
mAcc: 78.2
mIoU: 72.2
oAcc: 91.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
窗口归一化:通过统一不一致的点密度提升点云理解能力 | 论文 | HyperAI超神经