摘要
对比学习已成为自监督视觉表征学习的主要方法，但高效利用难负样本（即与锚点样本高度相似的样本）仍然具有挑战性。我们提出了SynCo（对比学习中的合成难负样本），这是一种通过在表征空间生成合成难负样本来提升模型性能的新方法。基于MoCo框架，SynCo引入了六种策略，能够在几乎不增加计算开销的情况下实时创建多样化的合成难负样本。SynCo实现了更快的训练和强大的表征学习，在ImageNet ILSVRC-2012线性评估中超越了MoCo-v2（+0.4%）和MoCHI（+1.0%）。此外，SynCo在检测任务上的迁移效果更佳，在PASCAL VOC检测任务中取得了57.2%的平均精度（AP），并在COCO检测任务上显著优于MoCo-v2（+1.0% AP）以及实例分割任务上也有明显提升（+0.8% AP）。我们的合成难负样本生成方法显著增强了通过自监督对比学习获得的视觉表征。
代码仓库
giakoumoglou/synco
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| image-segmentation-on-coco-val2017 | SynCo (ResNet-50) 200ep | mask AP: 35.4 |
| object-detection-on-coco-val2017 | SynCo (ResNet-50) 200ep | Bounding Box AP: 40.4 |
| object-detection-on-pascal-voc-2012-test | SynCo (ResNet-50) 200ep | Bounding Box AP: 57.2 |
| self-supervised-image-classification-on | SynCo (ResNet-50) 800ep | Number of Params: 24M Top 1 Accuracy: 70.6% Top 5 Accuracy: 89.8% |
| self-supervised-image-classification-on | SynCo (ResNet-50) 200ep | Number of Params: 24M Top 1 Accuracy: 67.9% Top 5 Accuracy: 88 |
| semi-supervised-image-classification-on-1 | SynCo (ResNet-50) 800ep | Number of params: 24M Top 1 Accuracy: 50.8% Top 5 Accuracy: 77.5% |
| semi-supervised-image-classification-on-2 | SynCo (ResNet-50) 800ep | Number of params: 24M Top 1 Accuracy: 66.6% Top 5 Accuracy: 88.0% |