摘要

我们提出了一种名为掩码孪生网络（Masked Siamese Networks, MSN）的自监督学习框架，用于学习图像表征。该方法将包含随机掩码图像块的图像视图的表征，与原始未掩码图像的表征进行匹配。这一自监督预训练策略在应用于视觉Transformer（Vision Transformers）时展现出极强的可扩展性，因为网络仅需处理未被掩码的图像块。因此，MSN在提升联合嵌入架构可扩展性的同时，能够生成语义层次较高的图像表征，并在低样本量图像分类任务中表现优异。例如，在ImageNet-1K数据集上，仅使用5,000张标注图像时，我们的基础MSN模型达到了72.4%的Top-1准确率；当仅使用ImageNet-1K数据集中1%的标签时，准确率提升至75.7%，创造了该基准测试下自监督学习的新纪录。相关代码已公开发布。