摘要

当前动作分类数据集（如UCF-101和HMDB-51）中视频数量的不足，使得识别优秀的视频架构变得困难，因为大多数方法在现有的小规模基准测试中表现出类似的性能。本文基于新的Kinetics人类动作视频数据集重新评估了最先进的架构。Kinetics的数据量比现有数据集高出两个数量级，包含400个人类动作类别，每个类别超过400个片段，并且这些数据是从现实且具有挑战性的YouTube视频中收集的。我们对当前架构在这项数据集上的动作分类任务表现进行了分析，并探讨了在Kinetics上预训练后，这些模型在较小的基准测试数据集上的性能提升情况。此外，我们还引入了一种新的双流膨胀3D卷积网络（Two-Stream Inflated 3D ConvNet, I3D），该网络基于2D卷积网络的膨胀：非常深的图像分类卷积网络中的滤波器和池化核被扩展到3D，从而使得从视频中学习无缝的空间-时间特征提取器成为可能，同时利用成功的ImageNet架构设计及其参数。我们展示了在Kinetics上预训练后，I3D模型在动作分类任务上的性能显著超过了现有最先进水平，在HMDB-51上达到了80.9%，在UCF-101上达到了98.0%。