4 个月前

无痛,大获:通过拟合特征级时空表面用静态模型分类动态点云序列

无痛,大获:通过拟合特征级时空表面用静态模型分类动态点云序列

摘要

场景流是一种强大的工具,用于捕捉三维点云的运动场。然而,由于点云的非结构化特性,使得直接将基于流的模型应用于动态点云分类变得困难甚至不可能,因为难以高效且准确地追踪点对点的对应关系。为了在不显式追踪对应关系的情况下捕捉三维运动,我们提出了一种受动力学启发的神经网络(Kinet),该网络将ST-表面的动力学概念推广到特征空间。通过在特征空间中展开ST-表面的法线求解器,Kinet 隐式编码了特征级别的动态变化,并从静态点云处理中成熟的骨干网络中获益。仅需对网络结构进行微小调整并承担较低的计算开销,即可轻松地与给定的静态模型联合训练和部署我们的框架。实验结果表明,在NvGesture、SHREC'17、MSRAction-3D 和 NTU-RGBD 数据集上,Kinet 在性能、参数数量和计算复杂度方面均表现出色,并且适用于各种静态骨干网络。值得注意的是,Kinet 在 MSRAction-3D 数据集上仅使用 3.20M 参数和 10.35G FLOPS 就达到了 93.27% 的准确率。

基准测试

基准方法指标
3d-action-recognition-on-ntu-rgb-d-1Kinet
Cross Subject Accuracy: 92.3
Cross View Accuracy: 96.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无痛,大获:通过拟合特征级时空表面用静态模型分类动态点云序列 | 论文 | HyperAI超神经