3 个月前

学习可泛化的全尺度表征用于行人重识别

学习可泛化的全尺度表征用于行人重识别

摘要

一个高效的人体重识别(re-ID)模型应当学习到既具备强区分性(discriminative),能够有效区分外观相似的个体,又具备良好泛化能力(generalisable),可在无需任何适应调整的情况下部署于不同数据集的特征表示。本文提出了一种新型的卷积神经网络(CNN)架构,以同时应对上述两个挑战。首先,我们提出一种名为“全尺度网络”(Omni-Scale Network, OSNet)的重识别CNN,用于学习能够同时捕捉多种空间尺度信息,并融合多尺度特征的协同组合,即“全尺度特征”。该网络的基本构建单元由多个并行的卷积分支组成,每个分支专注于检测特定尺度下的特征。为实现全尺度特征学习,我们引入一个统一的聚合门控机制(aggregation gate),通过通道维度的可学习权重,动态融合多尺度特征。OSNet具有轻量化特性,其构建模块采用分解卷积(factorised convolutions),显著降低了参数量与计算开销。其次,为提升特征表示的泛化能力,我们在OSNet中引入实例归一化(Instance Normalization, IN)层,以缓解跨数据集间的分布差异问题。为进一步优化IN层在网络中的最优部署位置,我们设计了一种高效的可微架构搜索算法(differentiable architecture search algorithm),实现自动化结构优化。大量实验表明,在传统的同数据集设置下,OSNet在保持远小于现有重识别模型的前提下,取得了当前最优的性能表现。在更具挑战性但更贴近实际应用的跨数据集设置中,OSNet在未使用任何目标域数据的情况下,仍优于大多数最新的无监督域自适应方法。本文的代码与模型已开源,地址为:\texttt{https://github.com/KaiyangZhou/deep-person-reid}。

代码仓库

jacobtyo/mudd
pytorch
GitHub 中提及
openvinotoolkit/deep-object-reid
pytorch
GitHub 中提及
MatthewAbugeja/osnet
pytorch
GitHub 中提及
tomektarabasz/deep_person_reid
pytorch
GitHub 中提及
hukefei/deep-person-reid-master
pytorch
GitHub 中提及
KaiyangZhou/deep-person-reid
官方
pytorch
GitHub 中提及
LeDuySon/torchreid_uet_lab
pytorch
GitHub 中提及
mszpc/osnet
mindspore

基准测试

基准方法指标
unsupervised-person-re-identification-on-1OSNet-AIN
Rank-1: 61
Rank-10: 82.5
Rank-5: 77
mAP: 30.6
unsupervised-person-re-identification-on-6OSNet-AIN
Rank-1: 70.1
Rank-10: 88.6
Rank-5: 84.1
mAP: 43.3
unsupervised-person-re-identification-on-7OSNet-AIN
Rank-1: 71.1
Rank-10: 86.4
Rank-5: 83.3
mAP: 52.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
学习可泛化的全尺度表征用于行人重识别 | 论文 | HyperAI超神经