摘要

尽管自监督学习的基本思想在不同模态间保持一致，但由于各类算法最初均针对单一模态设计，其具体实现方式与目标存在显著差异。为推动迈向通用自监督学习，我们提出 data2vec 框架，该框架在语音、自然语言处理（NLP）和计算机视觉三大领域中均采用相同的训练方法。其核心思想是在一个自蒸馏（self-distillation）设置下，基于输入数据的掩码视图，利用标准 Transformer 架构预测完整输入数据的潜在表示（latent representations）。与以往依赖局部性模态特定目标（如词语、视觉标记或人类语音单元）的预测方式不同，data2vec 预测的是包含整个输入上下文信息的上下文化潜在表示。在语音识别、图像分类和自然语言理解三大主流基准上的实验表明，该方法取得了新的最先进性能，或与现有主流方法相比具有相当竞争力。