摘要
近期基于深度的人体活动分析方法取得了卓越的性能，并证明了三维表示在动作类别分类中的有效性。目前可用的基于深度和RGB+D的动作识别基准存在若干限制，包括训练样本不足、类别标签不明确、摄像机视角单一以及主体多样性不足。本文介绍了一个大规模的RGB+D人体动作识别数据集，包含超过56,000个视频样本和400万帧图像，采集自40个不同的主体。我们的数据集涵盖了60种不同的动作类别，包括日常活动、互动活动和健康相关活动。此外，我们提出了一种新的递归神经网络结构，用于建模每个身体部位特征的长期时间相关性，并利用这些特征进行更准确的动作分类。实验结果表明，在我们提出的跨主体和跨视角评估标准下，应用深度学习方法比最先进的手工设计特征具有明显优势。该大规模数据集的引入将使研究社区能够应用、开发和适应各种数据驱动的学习技术，以进行基于深度和RGB+D的人体活动分析任务。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| skeleton-based-action-recognition-on-cad-120 | P-LSTM (5-shot) | Accuracy: 68.1% |
| skeleton-based-action-recognition-on-ntu-rgbd | Part-aware LSTM | Accuracy (CS): 62.93 Accuracy (CV): 70.27 |
| skeleton-based-action-recognition-on-ntu-rgbd | Deep LSTM | Accuracy (CS): 60.7 Accuracy (CV): 67.3 |
| skeleton-based-action-recognition-on-ntu-rgbd-1 | Part-Aware LSTM | Accuracy (Cross-Setup): 26.3% Accuracy (Cross-Subject): 25.5% |
| skeleton-based-action-recognition-on-varying | P-LSTM | Accuracy (AV I): 33% Accuracy (AV II): 50% Accuracy (CS): 60% Accuracy (CV I): 13% Accuracy (CV II): 33% |
| skeleton-based-action-recognition-on-varying | LSTM | Accuracy (AV I): 31% Accuracy (AV II): 68% Accuracy (CS): 56% Accuracy (CV I): 16% Accuracy (CV II): 31% |