摘要

基于文本的人脸搜索（TBPS）旨在使用自然语言描述来检索人物图像。近年来，对比语言图像预训练模型（Contrastive Language Image Pretraining, CLIP）作为一种通用的大规模跨模态视觉-语言预训练模型，在各种下游跨模态任务中表现出色，这主要归功于其强大的跨模态语义学习能力。作为一项细粒度的跨模态检索任务，TBPS 也面临着基于 CLIP 的研究热潮。为了探索视觉-语言预训练模型在下游 TBPS 任务中的潜力，本文首次尝试对 CLIP 在 TBPS 中的应用进行全面的实证研究，并为 TBPS 社区贡献了一个简单、逐步增强且性能强大的 TBPS-CLIP 基线模型。我们重新审视了 CLIP 下的关键设计考虑因素，包括数据增强和损失函数。通过上述设计和实用的训练技巧，该模型无需复杂的模块即可达到令人满意的性能。此外，我们还进行了关于 TBPS-CLIP 模型泛化能力和模型压缩的探针实验，从多个方面展示了 TBPS-CLIP 的有效性。本研究预计能够提供实证见解，并突出未来基于 CLIP 的 TBPS 研究方向。