摘要

我们研究了视觉Transformer（ViT）的半监督学习（SSL），尽管ViT架构已被广泛应用于各类任务，但该方向仍属研究不足的领域。为应对这一挑战，我们提出了一种新的SSL流程，包含三个阶段：首先进行自/非监督预训练，随后进行监督微调，最后进行半监督微调。在半监督微调阶段，我们采用指数移动平均（EMA）教师框架（EMA-Teacher），而非当前流行的FixMatch方法，因为前者在训练半监督视觉Transformer时表现出更高的稳定性与更优的准确率。此外，我们提出了一种概率伪混合（probabilistic pseudo mixup）机制，用于对未标记样本及其伪标签进行插值，以增强正则化效果，这对于训练具有较弱归纳偏置的ViT模型尤为重要。我们所提出的该方法被命名为Semi-ViT，在半监督分类任务中表现与卷积神经网络（CNN）相当或更优。同时，Semi-ViT继承了ViT架构的可扩展性优势，能够轻松扩展至大规模模型，并随着模型规模增大而持续提升性能。例如，Semi-ViT-Huge仅使用1%的标签，就在ImageNet数据集上实现了高达80%的Top-1准确率，这一性能与使用100%标签的Inception-v4相当。