摘要

在大规模数据集上预训练视频变换器通常是为了在相对较小的数据集上取得最佳性能。本文中，我们展示了视频掩码自编码器（VideoMAE）是用于自我监督视频预训练（SSVP）的有效数据学习者。我们的灵感来源于最近的ImageMAE，并提出了具有极高掩码比例的定制化视频管掩码。这一简单设计使得视频重建成为一个更具挑战性的自我监督任务，从而在预训练过程中促进提取更有效的视频表示。我们在SSVP方面获得了三个重要的发现：(1) 极高的掩码比例（即90%到95%）仍然能够使VideoMAE获得良好的性能。时间冗余的视频内容使得其可以使用比图像更高的掩码比例。(2) VideoMAE在非常小的数据集（即大约3000至4000个视频）上取得了令人印象深刻的结果，而无需使用任何额外数据。(3) VideoMAE表明，在SSVP中数据质量比数据量更重要。预训练数据集和目标数据集之间的域偏移是一个重要问题。值得注意的是，我们的VideoMAE结合普通的ViT可以在Kinetics-400上达到87.4%，在Something-Something V2上达到75.4%，在UCF101上达到91.3%，以及在HMDB51上达到62.6%，且无需使用任何额外数据。代码可在https://github.com/MCG-NJU/VideoMAE 获取。