3 个月前

MKConv:用于点云分析的多维特征表示

MKConv:用于点云分析的多维特征表示

摘要

尽管深度学习取得了显著成功,但由于点云数据结构的不规则性,实现最优的卷积操作仍面临挑战。现有方法主要致力于设计一种有效的连续核函数,以处理连续空间中的任意点。尽管已提出多种性能优异的方法,但我们观察到,标准的点特征通常以一维通道形式表示,若其表示能够引入额外的空间特征维度,则信息表达能力将显著增强。本文提出一种新型卷积算子——多维核卷积(Multidimensional Kernel Convolution, MKConv),该算子能够学习将点特征表示从向量形式转换为多维矩阵形式。与标准点卷积不同,MKConv 采用两步策略:(i) 首先通过利用多维核权重,激活局部特征表示中的空间维度,生成空间扩展后的特征。这些特征不仅能够通过空间相关性,还能通过特征空间中的通道相关性,更充分地表征其内在结构信息,从而携带更丰富的局部几何细节;(ii) 随后对所得的多维特征(可视为网格结构的矩阵)应用离散卷积操作。该方法使我们能够在不进行体素化(voxelization)的前提下,有效利用离散卷积处理点云数据,避免了体素化带来的信息损失。此外,本文还提出一种空间注意力模块——多维局部注意力(Multidimensional Local Attention, MLA),通过重新加权空间特征维度,增强局部点集内的结构感知能力。实验结果表明,MKConv 在点云处理任务中具有优异的适用性,包括物体分类、物体部件分割以及场景语义分割,在各项任务中均取得了领先性能。

基准测试

基准方法指标
3d-part-segmentation-on-shapenet-partMKConv
Instance Average IoU: 86.7
3d-point-cloud-classification-on-modelnet40MKConv
Number of params: 5.63M
Overall Accuracy: 94.0
semantic-segmentation-on-s3dis-area5MKConv
mAcc: 75.1
mIoU: 67.7
oAcc: 89.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MKConv:用于点云分析的多维特征表示 | 论文 | HyperAI超神经