摘要

对比语言-图像预训练（Contrastive Language-Image Pre-trained, CLIP）模型具备零样本分类能力，能够通过图像与提示语句“a [CONTEXT] of [CLASS]”之间的相似性，判断图像是否属于“[CLASS]”类别。得益于“[CONTEXT]”部分所包含的丰富文本线索，CLIP模型能够感知不同的上下文信息，如背景、风格、视角等，因而对各类分布偏移（distribution shifts）展现出前所未有的鲁棒性。然而，近期研究发现，对CLIP模型进行进一步微调虽可提升下游任务的准确率，却会牺牲其鲁棒性。我们通过实证研究发现，微调过程会损害预训练CLIP特征原有的上下文感知能力。为解决这一问题，我们提出一种新的微调方法——上下文感知鲁棒微调（Context-Aware Robust Fine-tuning, CAR-FT）。该方法在微调过程中引入正则化机制，以保留并强化模型对上下文信息的捕捉能力。具体而言，我们利用零样本提示词权重，提取图像中蕴含的上下文分布信息。通过最小化原始CLIP模型与微调后CLIP模型所诱导出的上下文分布之间的Kullback-Leibler散度（KLD），CAR-FT确保了CLIP模型原有的上下文感知能力能够有效传递至下游任务，从而在提升分布内（In-Distribution, ID）准确率的同时，显著提高分布外（Out-of-Distribution, OOD）准确率。实验结果表明，CAR-FT在ImageNet的五个分布外测试数据集上均展现出优越的鲁棒性，同时在九个下游任务中均实现了准确率提升。此外，CAR-FT超越了以往的领域泛化（Domain Generalization, DG）方法，在DomainBed基准测试中取得了78.5%的平均准确率，刷新了当前最优性能，树立了新的技术标杆。