摘要

时间动作提议（Temporal Action Proposal, TAP）旨在从未剪辑的视频中生成准确的动作实例候选。已有研究表明，上下文信息在该任务中至关重要。本文提出一种新型的分层上下文网络（Hierarchical Context Network, HCN），以进一步挖掘片段级（snippet-level）和提议级（proposal-level）上下文信息，分别用于提升片段与提议的表征能力。首先，我们发现不同尺度的片段级上下文对不同类型的动作实例的重要性并不相同。为此，我们在U-Net结构中引入一种新颖的门控机制，以自适应地捕捉与内容相关的片段级上下文信息。其次，为有效利用提议级上下文，我们设计了一种高效的任务特定自注意力模型。通过堆叠多个此类注意力模块，可广泛而深入地探索提议级上下文关系。最后，为充分融合两个层次的上下文信息，HCN采用三条并行分支，从局部到全局多个视角对候选动作进行评估。在ActivityNet-1.3和THUMOS14数据集上的实验结果表明，HCN显著优于以往的TAP方法。此外，进一步实验表明，将本方法与现有的动作分类器结合后，可显著提升当前最优动作检测模型的性能。