HyperAIHyperAI

Command Palette

Search for a command to run...

基于原型对比学习的CLIP微调方法用于目标重识别

Jiachen Li Xiaojin Gong

摘要

本研究旨在将大规模预训练的视觉-语言模型(如对比语言-图像预训练模型CLIP)适配于各类监督设置下的目标重识别(Re-ID)任务,以提升其性能。尽管最近提出的CLIP-ReID方法通过提示学习(prompt learning)取得了令人瞩目的成果,但由于Re-ID任务中缺乏语义标签,提示学习的内在机制及其必要性仍不明确。本文首先系统分析了提示学习在CLIP-ReID中的作用,并揭示了其存在的局限性。基于上述研究发现,我们提出了一种简单而高效的方法,用于将CLIP适配至有监督的目标Re-ID任务。该方法直接通过原型对比学习(Prototypical Contrastive Learning, PCL)损失对CLIP的图像编码器进行微调,从而无需依赖提示学习。在行人与车辆Re-ID数据集上的实验结果表明,所提方法在性能上可与CLIP-ReID相媲美。此外,我们将基于PCL的CLIP微调策略进一步拓展至无监督场景,并在该设定下实现了当前最优的性能表现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供