摘要
时间动作提议（Temporal Action Proposal, TAP）生成是一个重要的问题，因为从未经剪辑的视频中快速准确地提取出语义上重要的片段（例如人类动作）是大规模视频分析中的关键步骤。我们提出了一种新颖的时间单元回归网络（Temporal Unit Regression Network, TURN）模型。该模型具有两个显著特点：(1) TURN 能够同时预测动作提议并通过对时间坐标的回归来精炼时间边界；(2) 通过单元特征重用实现快速计算：长的未经剪辑的视频被分解为视频单元，这些单元作为时间提议的基本构建块被重复利用。在 THUMOS-14 和 ActivityNet 数据集上，TURN 在平均召回率（Average Recall, AR）方面大幅超越了现有方法，并且在 TITAN X GPU 上运行速度超过每秒 880 帧（Frames Per Second, FPS）。此外，我们将 TURN 应用于现有的时间动作定位流水线的动作提议生成阶段，其性能在 THUMOS-14 和 ActivityNet 数据集上也超过了当前最先进的水平。
代码仓库
jiyanggao/TURN-TAP
官方
tf
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| action-recognition-in-videos-on-thumos14 | TURN | mAP@0.3: 46.3 mAP@0.4: 35.3 mAP@0.5: 24.5 |
| temporal-action-localization-on-thumos14 | TURN-FL-16 + S-CNN | mAP IOU@0.1: 54 mAP IOU@0.2: 50.9 mAP IOU@0.3: 44.1 mAP IOU@0.4: 34.9 mAP IOU@0.5: 25.6 |