摘要

在线视频动作检测（Online Action Detection, OAD）被提出作为一种逐帧标注任务，旨在解决只能获取先前和当前视频帧的实时预测问题。本文介绍了一种基于学习特权信息的新框架，用于在线动作检测，其中未来帧仅在训练阶段可观察到，被视为一种特权信息的形式。知识蒸馏技术被用来将这种特权信息从离线教师模型传递给在线学生模型。我们注意到，这种设置与传统的知识蒸馏不同，因为教师模型和学生模型之间的差异主要在于输入数据而非网络架构。为此，我们提出了特权知识蒸馏（Privileged Knowledge Distillation, PKD），该方法通过（i）安排课程学习过程和（ii）向学生模型中插入辅助节点来缩小信息差距并提高学习性能。与其他显式预测未来帧的OAD方法相比，我们的方法避免了学习不可预测且不一致的视觉内容，并在两个流行的OAD基准数据集TVSeries和THUMOS14上达到了最先进的准确性。