摘要

近期的研究已经证明了循环神经网络在机器翻译、图像描述生成和语音识别方面的强大能力。然而，对于捕捉视频中的时间结构这一任务，仍然存在许多未解决的研究问题。当前的研究建议使用一种简单的时间特征池化策略来考虑视频的时间维度。我们发现，这种方法对于手势识别来说并不充分，因为在手势识别中，时间信息比一般视频分类任务更具辨别力。本文探讨了用于视频手势识别的深度架构，并提出了一种新的端到端可训练的神经网络架构，该架构结合了时间卷积和双向循环机制。我们的主要贡献有两点：首先，我们证明了循环机制对于这项任务至关重要；其次，我们展示了加入时间卷积可以显著提高性能。我们在Montalbano手势识别数据集上评估了不同的方法，并取得了最先进的结果。