摘要

本文研究了组合零样本学习（Compositional Zero-Shot Learning, CZSL）问题，即在已知概念的基础上识别全新的属性-对象组合。近年来，研究者们普遍采用具备强大泛化能力的大规模视觉-语言预训练（Vision-Language Pre-trained, VLP）模型（如CLIP）来解决该问题。然而，现有方法通常将预训练模型视为黑箱，仅关注CLIP模型前后的操作，未能深入挖掘CLIP内部各层之间的语义概念关联。为此，本文提出深入CLIP模型架构，在每一层编码器中引入适配器（adapters）——一种在大型语言模型中已被证明高效的参数高效微调技术。进一步地，我们为适配器赋予概念感知能力，使其能够有效提取“对象”“属性”以及“组合”三类特定概念的特征表示。我们在四个主流CZSL数据集（MIT-States、C-GQA、UT-Zappos和VAW-CZSL）上对所提方法进行了评估，结果表明，该方法在所有数据集上均达到了当前最优的性能水平，显著优于现有方法。