摘要

判别式自监督学习允许在任意随机选取的互联网图像集合上训练模型，并可能恢复有助于区分图像的关键信息。当应用于ImageNet数据集时，该方法可生成以物体为中心的特征表示，在多数以物体为中心的下游任务中，其性能可与监督学习所得特征相媲美。在本研究中，我们探讨了这一能力是否足以从全球范围内多样且无边界的大规模图像集合中，学习到更具代表性与显著性的信息。为此，我们在数十亿张未经任何预处理、且不预先设定学习目标的随机图像上训练模型。为避免在大规模数据上出现欠拟合，我们将模型规模扩展至高达100亿个参数的密集架构。我们在超过50个基准测试上系统性地评估并验证了模型性能，涵盖公平性、分布偏移下的鲁棒性、地理多样性、细粒度识别、图像复制检测以及多个图像分类数据集。实验结果表明，该模型不仅能够有效捕捉语义信息，还能从视觉内容中学习到艺术风格、地理位置等显著特征，以及基于视觉的多语言词嵌入。更重要的是，我们发现，此类模型相较于监督学习模型，或在以物体为中心的数据集（如ImageNet）上训练的模型，表现出更强的鲁棒性、更高的公平性、更低的有害性与偏见水平。