摘要

我们研究了用于视频动作识别的判别训练深度卷积网络（ConvNets）的架构。面临的挑战在于从静态帧中捕捉外观信息以及帧间运动信息的互补性。我们的目标是在数据驱动的学习框架内推广表现最佳的手工设计特征。我们的贡献有三个方面。首先，我们提出了一种双流卷积网络架构，该架构结合了空间网络和时间网络。其次，我们证明了在多帧密集光流上训练的卷积网络即使在有限的训练数据下也能取得非常好的性能。最后，我们展示了多任务学习可以应用于两个不同的动作分类数据集，以增加训练数据量并提高两个数据集上的性能。我们的架构在UCF-101和HMDB-51这两个标准的视频动作基准数据集上进行了训练和评估，在这些数据集上的表现与当前最先进的方法相当。此外，它在视频分类方面也远远超过了之前使用深度网络的所有尝试。