摘要

卷积神经网络（CNNs）已广泛应用于图像识别问题，在识别、检测、分割和检索等方面取得了最先进的成果。在本研究中，我们提出并评估了多种深度神经网络架构，旨在比以往尝试的时间跨度更长地整合视频中的图像信息。我们提出了两种能够处理全长视频的方法。第一种方法探讨了各种卷积时间特征池化架构，分析了在将CNN适应于该任务时需要做出的各种设计选择。第二种方法则显式地将视频建模为帧的有序序列。为此，我们采用了使用长短期记忆（LSTM）单元的循环神经网络，这些单元连接到基础CNN的输出。我们的最佳网络在Sports 1百万数据集上表现出显著的性能提升（73.1% 对比 60.9%），以及在UCF-101数据集中有和无额外光流信息的情况下（88.6% 对比 88.0%，82.6% 对比 72.8%）。