Command Palette
Search for a command to run...
NTU-X:用于提升基于姿态的细微人类动作识别的增强型大规模数据集
NTU-X:用于提升基于姿态的细微人类动作识别的增强型大规模数据集
Neel Trivedi Anirudh Thatipelli Ravi Kiran Sarvadevabhatla
摘要
当前最先进的骨骼动作识别模型在细粒度关节(如面部关节、手指关节)方面的缺失,已成为制约其性能提升的根本瓶颈。尽管存在这一瓶颈,学术界的研究努力仍主要集中于提出新型网络架构,而忽视了对细粒度关节信息的有效利用。为针对性地解决这一问题,我们提出了两个基于姿态的人体动作数据集——NTU60-X 和 NTU120-X。这两个数据集在现有最大规模的动作识别数据集 NTU-RGBD 的基础上进行了扩展,不仅保留了原始数据集中每个骨架的25个身体关节,还新增了手指与面部关节信息,从而实现了更为丰富的骨骼表征。我们对当前最先进的方法进行了适当调整,以支持在所提出数据集上的训练。实验结果表明,NTU-X 系列数据集在有效缓解上述瓶颈方面具有显著成效,不仅整体性能得到提升,而且在以往表现最差的动作类别上也实现了显著改进。相关代码与预训练模型已开源,详见:https://github.com/skelemoa/ntu-x。