摘要

语言-图像预训练是一种有效的技术，用于在一般领域中学习强大的表示。然而，当直接应用于人物表示学习时，这些通用的预训练方法表现不佳。原因是它们忽略了关键的人物相关特征，即细粒度属性和身份。为了解决这一问题，我们提出了一种新的语言-图像预训练框架，用于人物表示学习，称为PLIP（Person Language-Image Pre-training）。具体而言，我们精心设计了三个自监督任务：1）文本引导的图像着色（Text-guided Image Colorization），旨在建立人物相关图像区域与细粒度颜色部分文本短语之间的对应关系；2）图像引导的属性预测（Image-guided Attributes Prediction），旨在挖掘图像中人体的细粒度属性信息；3）基于身份的视觉-语言对比（Identity-based Vision-Language Contrast），旨在在身份层面而非实例层面关联跨模态表示。此外，为了实现我们的预训练框架，我们构建了一个大规模的人物数据集SYNTH-PEDES，该数据集包含图像-文本对，并通过自动生成文本注释来创建。我们在SYNTH-PEDES上对PLIP进行预训练，并通过一系列下游人物中心任务评估我们的模型。实验结果表明，PLIP不仅在所有这些任务上显著提升了现有方法的表现，还在零样本和领域泛化设置下展现了强大的能力。代码、数据集和权重将在以下网址发布：https://github.com/Zplusdragon/PLIP