摘要

预训练的视觉-语言（V-L）模型（如CLIP）在下游任务中展现出卓越的泛化能力。然而，这些模型对输入文本提示（prompt）的选择较为敏感，需精心设计提示模板才能取得良好性能。受自然语言处理（NLP）领域启发，近期针对CLIP的适应方法将提示学习（prompt learning）作为文本输入，用于微调CLIP以适配下游任务。我们注意到，仅在CLIP的单一模态分支（语言或视觉）中使用提示进行表示适配是次优的，因为这种方法无法在下游任务中动态调整两个模态的表示空间，限制了模态间交互的灵活性。为此，本文提出一种多模态提示学习方法（Multi-modal Prompt Learning, MaPLe），同时在视觉与语言两个分支中引入提示学习，以增强视觉与语言表示之间的对齐能力。我们的设计强调视觉-语言提示之间的强耦合，确保二者产生协同效应，同时抑制独立学习单模态解决方案的倾向。此外，我们在不同早期网络阶段分别学习独立的提示，以逐步建模各阶段特征之间的关系，从而支持更丰富的上下文信息学习。我们在三个具有代表性的泛化任务上评估了所提方法的有效性：新类别识别、新目标数据集上的泛化以及未见领域偏移的适应能力。实验结果表明，与当前最先进的方法Co-CoOp相比，MaPLe在新类别识别任务上实现了3.45%的绝对性能提升，在11个多样化图像识别数据集上平均的总体调和均值（harmonic-mean）也提升了2.72%。相关代码与预训练模型已开源，地址为：https://github.com/muzairkhattak/multimodal-prompt-learning。