摘要

本文的目标是仅基于视觉的自监督视频表征学习。我们做出了以下贡献：(i) 我们研究了在实例级信息噪声对比估计（InfoNCE）训练中添加语义类别正样本的好处，结果表明这种形式的监督对比学习显著提升了性能；(ii) 我们提出了一种新颖的自监督协同训练方案，以改进广泛使用的InfoNCE损失函数，通过利用同一数据源的不同视图、RGB流和光流之间的互补信息，使用一个视图来为另一个视图获取正类样本；(iii) 我们对所学表征的质量进行了全面评估，涉及两个不同的下游任务：动作识别和视频检索。在这两个任务中，所提出的方法不仅展示了与现有自监督方法相当或更优的性能，而且在训练效率上显著提高，即需要远少的训练数据即可达到类似的性能水平。