摘要

基于深度的人类活动分析研究取得了卓越的性能，并证明了三维表示在动作识别中的有效性。现有的基于深度和RGB+D的动作识别基准测试存在诸多限制，包括缺乏大规模训练样本、现实的类别数量不足、摄像机视角多样性不足、环境条件变化多样性和人类受试者多样性不足等问题。在这项工作中，我们介绍了一个用于RGB+D人类动作识别的大规模数据集，该数据集从106个不同的受试者中收集，包含超过11.4万个视频样本和800万帧图像。该数据集涵盖了120种不同的动作类别，包括日常活动、互动活动和健康相关活动。我们在该数据集上评估了一系列现有3D活动分析方法的性能，并展示了应用深度学习方法进行基于3D的人类动作识别的优势。此外，我们还在我们的数据集上探讨了一种新颖的一次性3D活动识别问题，并提出了一种简单而有效的动作部分语义相关性（APSR）框架来解决这一问题，该框架在新动作类别的识别中取得了令人鼓舞的结果。我们相信，这一大规模数据集的引入将使社区能够应用、适应和发展各种对大量数据有需求的学习技术，以实现基于深度和RGB+D的人类活动理解。[数据集可从以下网址获取：http://rose1.ntu.edu.sg/Datasets/actionRecognition.asp]