HyperAIHyperAI

Command Palette

Search for a command to run...

特权知识蒸馏用于在线行为检测

Peisen Zhao Jiajie Wang Lingxi Xie Ya Zhang Yanfeng Wang Qi Tian

摘要

在线视频动作检测(Online Action Detection, OAD)被提出作为一种逐帧标注任务,旨在解决只能获取先前和当前视频帧的实时预测问题。本文介绍了一种基于学习特权信息的新框架,用于在线动作检测,其中未来帧仅在训练阶段可观察到,被视为一种特权信息的形式。知识蒸馏技术被用来将这种特权信息从离线教师模型传递给在线学生模型。我们注意到,这种设置与传统的知识蒸馏不同,因为教师模型和学生模型之间的差异主要在于输入数据而非网络架构。为此,我们提出了特权知识蒸馏(Privileged Knowledge Distillation, PKD),该方法通过(i)安排课程学习过程和(ii)向学生模型中插入辅助节点来缩小信息差距并提高学习性能。与其他显式预测未来帧的OAD方法相比,我们的方法避免了学习不可预测且不一致的视觉内容,并在两个流行的OAD基准数据集TVSeries和THUMOS14上达到了最先进的准确性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
特权知识蒸馏用于在线行为检测 | 论文 | HyperAI超神经