摘要

在本研究中，我们提出了一种用于动作分类的新视频表示方法，该方法将视频整个时空范围内的局部卷积特征进行聚合。为此，我们结合了最先进的双流网络与可学习的时空特征聚合机制，构建出一种可端到端训练的完整视频分类架构。我们探讨了在空间与时间维度上进行池化操作的不同策略，以及如何融合来自不同流的信息。研究发现：（i）在空间与时间维度上联合池化至关重要；（ii）外观流与运动流应分别聚合为独立的表示。最终，我们证明，该表示方法在HMDB51、UCF101和Charades视频分类基准上，相较于原始双流基线架构取得了显著提升（相对提升达13%），并且在与具有类似基础架构的其他基线方法对比中也表现出更优的性能。