摘要

大型预训练模型（如CLIP或ALIGN）在执行零样本推理（即无需在特定数据集上进行微调）时，能够在多种数据分布下保持一致的准确性。尽管现有的微调方法在特定目标分布上显著提升了准确率，但往往会导致模型对分布偏移（distribution shift）的鲁棒性下降。为缓解这一矛盾，本文提出一种简单而高效的方法——在微调过程中对零样本模型与微调后模型的权重进行集成（WiSE-FT），从而在微调的同时提升模型的鲁棒性。相较于标准微调方法，WiSE-FT在面对分布偏移时实现了显著的准确率提升，同时在目标分布上仍保持高精度。在ImageNet及其五个衍生的分布偏移数据集上，WiSE-FT相较于先前方法在分布偏移场景下的准确率提升了4至6个百分点（pp），同时将ImageNet上的准确率提高了1.6 pp。在六组更具多样性的额外分布偏移任务中，WiSE-FT同样取得了2至23 pp的鲁棒性提升；在七个常用的迁移学习数据集上，其准确率相比标准微调方法提升了0.8至3.3 pp。这些性能提升在微调和推理阶段均无需额外计算开销，具有极高的实用性。