3 个月前

互均教学:用于行人重识别无监督域自适应的伪标签精炼方法

互均教学:用于行人重识别无监督域自适应的伪标签精炼方法

摘要

行人重识别(Person Re-Identification, Re-ID)旨在跨不同摄像头识别同一行人的图像。然而,不同数据集之间的域差异给将基于一个数据集训练的Re-ID模型迁移到另一个数据集带来了显著挑战。当前最先进的无监督域自适应方法通过在目标域上使用聚类算法生成伪标签,并基于这些伪标签优化模型,从而实现从源域到目标域的知识迁移。尽管这些方法取得了当前最优的性能,但聚类过程不可避免地引入了标签噪声,而这一问题在现有方法中被忽视。这些带有噪声的伪标签严重制约了模型在目标域上进一步优化特征表示的能力。为缓解噪声伪标签的影响,本文提出一种新颖的无监督框架——互惠均值教学(Mutual Mean-Teaching, MMT),通过离线精炼的硬伪标签与在线精炼的软伪标签,以交替训练的方式,实现对目标域特征的更优学习。此外,主流的Re-ID模型通常同时采用分类损失(classification loss)与三元组损失(triplet loss)以达到最佳性能。然而,传统三元组损失无法直接与软化后的伪标签协同工作。为此,本文提出一种新型的软化Softmax三元组损失(soft softmax-triplet loss),支持基于软化伪三元组标签的联合学习,从而实现更优的域自适应性能。所提出的MMT框架在四个无监督域自适应任务上均取得了显著提升:在Market-to-Duke、Duke-to-Market、Market-to-MSMT和Duke-to-MSMT任务中,mAP分别提升了14.4%、18.2%、13.1%和16.4%。代码已开源,地址为:https://github.com/yxgeee/MMT。

代码仓库

yxgeee/MMT
官方
pytorch
thuml/Transfer-Learning-Library
pytorch
GitHub 中提及

基准测试

基准方法指标
unsupervised-domain-adaptation-on-duke-toMMT
mAP: 71.2
rank-1: 87.7
rank-10: 96.9
rank-5: 94.9
unsupervised-domain-adaptation-on-duke-to-1MMT
mAP: 23.3
rank-1: 50.1
rank-10: 69.8
rank-5: 63.9
unsupervised-domain-adaptation-on-market-toMMT
mAP: 65.1
rank-1: 78.0
rank-10: 92.5
rank-5: 88.8
unsupervised-domain-adaptation-on-market-to-1MMT
mAP: 22.9
rank-1: 49.2
rank-10: 68.8
rank-5: 63.1
unsupervised-person-re-identification-onMMT-ResNet50
Rank-1: 78.0
Rank-10: 88.8
Rank-5: 92.5
mAP: 65.1
unsupervised-person-re-identification-on-1MMT-ResNet50
Top-1 (%): 87.7
mAP: 71.2
unsupervised-person-re-identification-on-2MMT-ResNet50
Rank-1: 49.2
mAP: 22.9
unsupervised-person-re-identification-on-3MMT-ResNet50
Top-1 (%): 50.0
mAP: 23.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
互均教学:用于行人重识别无监督域自适应的伪标签精炼方法 | 论文 | HyperAI超神经