摘要

时间动作提议生成是一项重要的任务，类似于对象提议，时间动作提议旨在捕捉视频中可能包含动作的“片段”或时间区间。以往的方法可以分为两类：滑动窗口排序和动作性得分分组。滑动窗口均匀覆盖视频中的所有段落，但时间边界不够精确；基于分组的方法可能具有更精确的边界，但在动作性得分质量较低时可能会遗漏一些提议。基于这两种方法的互补特性，我们提出了一种新颖的时间动作提议生成器（Complementary Temporal Action Proposal, CTAP）。具体而言，我们在滑动窗口提议上应用了一个提案级动作可信度评估器（Proposal-level Actionness Trustworthiness Estimator, PATE），以生成表示通过动作性得分是否能正确检测到动作的概率，得分较高的窗口被收集起来。然后，收集的滑动窗口和动作性提议通过一个时间卷积神经网络进行提案排序和边界调整。在 THUMOS-14 和 ActivityNet 1.3 数据集上，CTAP 在平均召回率（Average Recall, AR）方面显著优于现有方法。此外，我们将 CTAP 作为提议生成方法应用于现有的动作检测器中，并展示了持续且显著的改进效果。