摘要

我们提出OmniSource，一种用于利用网络数据训练视频识别模型的新型框架。OmniSource有效克服了不同数据格式（如图像、短视频和长段未剪辑视频）之间的壁垒，为弱监督网络学习（webly-supervised learning）提供了统一的数据处理路径。首先，通过任务特定的数据采集方式获取多格式数据样本，并由教师模型自动过滤，随后将其统一转换为标准化形式；接着，提出一种联合训练策略，以缓解多源、多格式数据在弱监督学习中所存在的领域差异问题。在联合训练过程中，我们引入了多项优化实践，包括数据平衡、重采样以及跨数据集Mixup等方法，显著提升了模型训练效率与泛化能力。实验结果表明，通过整合来自多种来源和格式的数据，OmniSource在训练过程中展现出更高的数据效率。仅使用从互联网爬取的350万张图像和80万分钟视频（无需人工标注，不足先前研究数据量的2%），OmniSource训练的模型在Kinetics-400基准上，分别将2D-ConvNet与3D-ConvNet基线模型的Top-1准确率提升3.0%和3.9%。基于OmniSource框架，我们在不同预训练策略下均取得了新的性能纪录：采用从零开始训练（training-from-scratch）、ImageNet预训练以及IG-65M预训练的最优模型，在Kinetics-400上的Top-1准确率分别达到80.4%、80.5%和83.6%。