摘要

时间动作提案生成旨在估计未剪辑视频中动作的时间区间，这是视频理解领域中一个具有挑战性但又非常重要的任务。当前方法生成的提案仍存在时间边界不准确和检索时置信度较低的问题，这主要是由于缺乏高效的时间建模和有效的边界上下文利用。在本文中，我们提出了一种时间上下文聚合网络（Temporal Context Aggregation Network, TCANet），通过“局部和全局”时间上下文聚合以及互补和逐步的边界细化来生成高质量的动作提案。具体而言，我们首先设计了一个局部-全局时间编码器（Local-Global Temporal Encoder, LGTE），该编码器采用了通道分组策略，以高效地编码“局部和全局”时间依赖关系。此外，提案的边界和内部上下文分别用于帧级和段级边界回归。为此，我们设计了时间边界回归器（Temporal Boundary Regressor, TBR），以端到端的方式结合这两种回归粒度，通过逐步细化实现提案的精确边界和可靠的置信度。我们在三个具有挑战性的数据集上进行了广泛的实验：HACS、ActivityNet-v1.3 和 THUMOS-14，在这些数据集中，TCANet 能够生成高精度和高召回率的提案。通过与现有的动作分类器结合，TCANet 在与其他方法相比时能够获得显著的时间动作检测性能。不出所料，提出的 TCANet 在 CVPR 2020 - HACS 挑战赛的时间动作定位任务排行榜上获得了第一名。