17 天前

深度视频中动作识别的多模态多部分学习

深度视频中动作识别的多模态多部分学习

摘要

人类行为的复杂性与多变性使得动作识别任务极具挑战性。一种应对这一复杂性的方法是将动作分解为身体各部分的运动学特征,并基于这些局部描述符进行动作分析。本文提出一种基于联合稀疏回归的学习方法,利用结构化稀疏性将每个动作建模为从一组稀疏身体部位中提取的多模态特征的组合。为表征各部分的动态与外观特性,我们采用了一组异构的深度图像与骨骼信息特征。通过提出的分层混合范数,将多模态多部位特征的合理结构整合进学习框架中,以对每个部位的结构化特征进行正则化,并在各部位之间施加稀疏性约束,从而实现组级特征选择。实验结果表明,所提出的方法具有显著有效性:在三个测试数据集上均优于现有方法,且在其中一个数据集上达到了完美识别准确率,实现了性能饱和。

基准测试

基准方法指标
multimodal-activity-recognition-on-msr-daily-1MMMP (Pose+D)
Accuracy: 91.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
深度视频中动作识别的多模态多部分学习 | 论文 | HyperAI超神经