摘要

获取动作的时空状态是动作分类中最关键的步骤。在本文中，我们提出了一种数据层面融合策略，即运动融合帧（Motion Fused Frames, MFFs），旨在将运动信息融入静态图像中，以更好地表示动作的时空状态。MFFs 可以作为输入应用于任何深度学习架构，且对网络的修改非常少。我们在三个视频数据集——Jester、ChaLearn LAP IsoGD 和 NVIDIA 动态手势数据集——的手势识别任务上评估了 MFFs 的性能，这些任务需要捕捉手部运动的长期时间关系。我们的方法在 Jester 和 ChaLearn 基准测试中分别获得了 96.28% 和 57.4% 的分类准确率，而在 NVIDIA 基准测试中则达到了最先进的 84.7% 准确率。