摘要

在本文中，我们提出了粗细网络（Coarse-Fine Networks），一种双流架构，通过利用不同时间分辨率的抽象信息，以学习更优的长时运动视频表征。传统视频模型通常以单一（或少数几个）固定的时间分辨率处理输入，缺乏动态帧选择能力。然而，我们认为，通过动态地处理输入的多种时间分辨率，并学习估计每一帧的重要性，能够显著提升视频表征性能，尤其在时间动作定位任务中效果更为突出。为此，我们提出：（1）Grid Pool，一种可学习的时间下采样层，用于提取粗粒度特征；（2）多阶段融合（Multi-stage Fusion），一种时空注意力机制，用于将细粒度上下文信息与粗粒度特征进行融合。实验结果表明，我们的方法在多个公开数据集（包括Charades）上的动作检测任务中显著优于现有最先进方法，同时大幅降低了计算开销与内存占用。代码已开源，地址为：https://github.com/kkahatapitiya/Coarse-Fine-Networks。