摘要

视频标注既繁琐又昂贵，且不具备可扩展性。然而，许多强大的视频模型仍然依赖于人工标注的数据。随着HowTo100M数据集的最近引入，带有旁白的视频现在提供了在无需人工监督的情况下学习视频表示的可能性。在这项工作中，我们提出了一种新的学习方法——MIL-NCE（多实例学习对比编码），该方法能够解决带有旁白的视频中固有的对齐问题。通过这种方法，我们能够从零开始学习强大的视频表示，而无需任何人工标注。我们在八个数据集上的四个下游任务中评估了我们的表示方法：动作识别（HMDB-51、UCF-101、Kinetics-700）、文本到视频检索（YouCook2、MSR-VTT）、动作定位（YouTube-8M Segments、CrossTask）以及动作分割（COIN）。我们的方法在这几项任务上均优于所有已发表的自监督方法，并且在某些任务上还超过了几个完全监督的基线模型。