摘要
本文提出了一种单阶段时序动作检测框架TriDet。现有方法通常因视频中动作边界的模糊性而导致边界预测不准确。为缓解这一问题，我们提出了一种新颖的三叉头结构（Trident-head），通过建模边界附近的相对概率分布来更精确地刻画动作边界。在TriDet的特征金字塔中，我们设计了一种高效的可扩展粒度感知（Scalable-Granularity Perception, SGP）模块，以缓解视频特征中自注意力机制引发的排序损失问题，并实现跨不同时间粒度的信息融合。得益于Trident-head结构与基于SGP的特征金字塔设计，TriDet在三个具有挑战性的基准数据集（THUMOS14、HACS和EPIC-KITCHENS 100）上均取得了当前最优的检测性能，同时计算开销显著低于以往方法。例如，在THUMOS14数据集上，TriDet实现了69.3%的平均mAP，较此前最优方法提升2.5%，且仅需其74.6%的推理延迟。代码已开源，地址为：https://github.com/sssste/TriDet。
代码仓库
dingfengshi/tridet
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| temporal-action-localization-on-activitynet | TriDet (TSP features) | mAP: 36.8 mAP IOU@0.5: 54.7 mAP IOU@0.75: 38.0 mAP IOU@0.95: 8.4 |
| temporal-action-localization-on-epic-kitchens | TriDet (verb) | Avg mAP (0.1-0.5): 25.4 mAP IOU@0.1: 28.6 mAP IOU@0.2: 27.4 mAP IOU@0.3: 26.1 mAP IOU@0.4: 24.2 mAP IOU@0.5: 20.8 |
| temporal-action-localization-on-hacs | TriDet (SlowFast) | Average-mAP: 38.6 mAP@0.5: 56.7 mAP@0.75: 39.3 mAP@0.95: 11.7 |
| temporal-action-localization-on-hacs | TriDet (I3D RGB) | Average-mAP: 36.8 mAP@0.5: 54.5 mAP@0.75: 36.8 mAP@0.95: 11.5 |
| temporal-action-localization-on-thumos14 | TriDet (I3D features) | Avg mAP (0.3:0.7): 69.3 mAP IOU@0.3: 83.6 mAP IOU@0.4: 80.1 mAP IOU@0.5: 72.9 mAP IOU@0.6: 62.4 mAP IOU@0.7: 47.4 |