摘要

我们介绍了COMEDIAN，一种用于动作定位的新颖管道，该管道涉及自监督学习和知识蒸馏。动作定位是一项时间戳级别的时序动作检测任务。我们的管道由三个步骤组成，包含两个初始化阶段。首先，我们使用短视频作为输入，对空间变换器进行自监督初始化。此外，我们通过从与每个短视频片段对齐的预计算特征库中进行知识蒸馏，初始化一个时间变换器，以增强空间变换器的输出并提供全局上下文。在最后一步中，我们将变换器微调至动作定位任务。实验在SoccerNet-v2数据集上进行，展示了最先进的性能，并验证了COMEDIAN预训练范式的有效性。我们的结果突显了预训练管道的多个优势，包括相较于未预训练模型的性能提升和更快的收敛速度。