摘要

本文介绍了SimCLR：一种用于对比学习视觉表示的简单框架。我们简化了最近提出的对比自监督学习算法，无需专门的架构或内存库。为了理解是什么使得对比预测任务能够学习到有用的表示，我们系统地研究了该框架的主要组成部分。研究表明：（1）数据增强组合在定义有效的预测任务中起着关键作用；（2）在表示和对比损失之间引入可学习的非线性变换显著提高了所学表示的质量；（3）与有监督学习相比，对比学习从更大的批量和更多的训练步骤中获益更多。通过结合这些发现，我们在ImageNet上大幅超越了先前的自监督和半监督学习方法。基于SimCLR学到的自监督表示训练的线性分类器达到了76.5%的Top-1准确率，比之前的最先进方法相对提高了7%，与有监督ResNet-50的表现相当。当仅使用1%的标签进行微调时，我们实现了85.8%的Top-5准确率，超过了AlexNet，而使用的标签数量仅为AlexNet的1/100。