摘要

现有的视频动作识别方法大多未能区分人体与环境，容易对场景和物体产生过拟合。本文提出了一种概念简单、通用且高性能的框架，用于剪辑视频中的动作识别，旨在实现以人为中心的建模。该方法称为“Action Machine”，其输入为通过人物边界框裁剪的视频片段。它扩展了膨胀3D卷积网络（Inflated 3D ConvNet, I3D），增加了一个人体姿态估计分支和一个基于姿态的动作识别2D卷积神经网络（2D CNN），从而实现了快速训练和测试。“Action Machine”可以从动作识别和姿态估计的多任务训练中获益，同时融合RGB图像和姿态预测的结果。在NTU RGB-D数据集上，“Action Machine”分别在跨视角和跨主体测试中取得了97.2%和94.3%的最高精度，达到了当前最先进的性能。“Action Machine”在另外三个较小的动作识别数据集——Northwestern UCLA多视角动作3D、MSR日常活动3D和UTD-MHAD上也表现出色。代码将对外公开。