摘要

弱监督视频动作定位旨在仅使用视频级别的标签，从非剪辑视频中识别并定位动作实例。传统方法通常基于多实例学习（Multiple Instance Learning, MIL）框架，并采用Top-K策略选择最具代表性的片段来表征整个视频。然而，这种机制难以捕捉视频中的细粒度信息，导致动作分类与定位性能受限。为此，本文提出一种多层级语义与自适应动作性学习网络（Multilevel Semantic and Adaptive Actionness Learning Network, SAL），该网络主要由两个分支构成：多层级语义学习（Multilevel Semantic Learning, MSL）分支与自适应动作性学习（Adaptive Actionness Learning, AAL）分支。MSL分支引入了二阶视频语义信息，能够有效捕捉视频中的细粒度特征，从而提升视频级别的分类性能；同时，该分支还将二阶语义信息传播至动作片段，增强不同动作之间的区分能力。AAL分支则利用伪标签学习与类别无关的动作特征，提出一种视频片段混合策略（video segments mix-up），以提升前景特征的泛化能力；此外，引入自适应动作性掩码（adaptive actionness mask），动态平衡伪标签的质量与数量，从而显著提高训练过程的稳定性。大量实验结果表明，SAL在三个主流基准数据集上均取得了当前最优的性能表现。代码已开源：https://github.com/lizhilin-ustc/SAL