摘要

预训练的视觉-语言模型（如CLIP）在包括图像分类和分割在内的各种下游任务中最近展示了卓越的性能。然而，在细粒度图像重识别（ReID）任务中，标签是索引形式，缺乏具体的文本描述。因此，如何将这些模型应用于此类任务仍需进一步研究。本文首先发现，仅通过使用CLIP中的图像编码器初始化视觉模型并进行微调，已经在多种ReID任务中取得了具有竞争力的性能。随后，我们提出了一种两阶段策略以促进更好的视觉表示。其核心思想是充分利用CLIP中的跨模态描述能力，为每个ID生成一组可学习的文本标记，并将其输入文本编码器以形成模糊描述。在第一训练阶段，CLIP中的图像和文本编码器保持固定，而仅从零开始优化这些文本标记，通过计算批次内的对比损失来实现。在第二阶段，特定于ID的文本标记及其编码器变为静态，为微调图像编码器提供约束条件。借助为下游任务设计的损失函数的帮助，图像编码器能够准确地将数据表示为特征嵌入空间中的向量。所提出的策略的有效性已在多个用于人员或车辆重识别任务的数据集上得到了验证。代码可在https://github.com/Syliz517/CLIP-ReID 获取。