3 个月前

BFANet:基于边界特征分析的3D语义分割再思考

BFANet:基于边界特征分析的3D语义分割再思考

摘要

3D语义分割在理解三维场景中扮演着基础且关键的角色。尽管当前最先进的技术主要聚焦于通过通用评价指标(如mIoU、mAcc和oAcc)提升3D语义分割的整体性能,但这些方法往往忽视了对分割难题区域的深入探索。本文从更细粒度的视角重新审视3D语义分割,揭示了通常被宏观性能指标所掩盖的细微复杂性。具体而言,我们系统地将3D语义分割的错误划分为四类综合性类别,并为每一类设计了相应的评估指标。基于这一分类框架,本文提出了一种创新的3D语义分割网络——BFANet,该模型引入了对语义边界特征的精细化分析。首先,我们设计了边界-语义模块,将点云特征解耦为语义特征与边界特征,并通过融合其查询队列,利用注意力机制增强语义特征表达。其次,我们提出了一种更为简洁高效的边界伪标签计算算法,其速度比当前最先进方法快3.9倍,同时兼容数据增强策略,显著提升了训练过程中的计算效率。在多个基准数据集上的大量实验验证了BFANet模型的优越性能,充分证明了所设计四类专用评估指标的重要意义。代码已开源,地址为:https://github.com/weiguangzhao/BFANet。

代码仓库

weiguangzhao/BFANet
官方
pytorch

基准测试

基准方法指标
3d-semantic-segmentation-on-scannet200BFANet
test mIoU: 36.0
val mIoU: 37.3
semantic-segmentation-on-scannetBFANet
val mIoU: 78.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BFANet:基于边界特征分析的3D语义分割再思考 | 论文 | HyperAI超神经