摘要

迁移学习是深度学习中一种广泛应用的范式，其中在标准数据集上预训练的模型可以被高效地适配到下游任务中。通常情况下，预训练模型性能越好，迁移学习的效果也越佳，这表明初始准确率是影响迁移学习性能的关键因素之一。在本研究中，我们识别出另一个关键方面：我们发现，尽管在对抗性攻击下更具鲁棒性的模型在标准准确率上可能较低，但在用于迁移学习时，其表现往往优于常规训练的模型。具体而言，我们聚焦于具备对抗鲁棒性的ImageNet分类器，结果表明，这些模型在一系列标准的下游分类任务中能够带来更高的准确率。进一步分析揭示了鲁棒模型与常规模型在迁移学习背景下存在的更多差异。我们的研究结果与近期提出的假设一致，甚至进一步支持了“鲁棒性有助于提升特征表示质量”的观点。相关代码与模型已开源，可访问 https://github.com/Microsoft/robust-models-transfer。