3 个月前

基于粗粒度先验的多任务学习在鲁棒的部件感知行人重识别中的应用

基于粗粒度先验的多任务学习在鲁棒的部件感知行人重识别中的应用

摘要

局部区域表征在鲁棒的人体重识别(Person Re-Identification, ReID)任务中具有重要意义,然而在实际应用中,由于人体部位错位(body part misalignment)问题,特征质量往往受到严重影响。本文提出一种鲁棒、紧凑且易于使用的方法——多任务感知部位网络(Multi-task Part-aware Network, MPN),旨在从行人图像中提取语义对齐的局部区域特征。MPN通过在训练阶段采用多任务学习(Multi-task Learning, MTL)机制,有效解决了人体部位错位问题。具体而言,MPN在共享的主干网络(backbone model)之上,为每个身体部位构建一个主任务(Main Task, MT)和一个辅助任务(Auxiliary Task, AT)。这些辅助任务引入了训练图像中身体部位的粗略位置先验信息,通过优化主任务参数,将身体部位的概念从辅助任务迁移至主任务,从而实现从主干网络中识别出与特定部位相关的通道。该概念迁移过程依赖于两种新颖的对齐策略:一是通过硬参数共享实现参数空间对齐,二是采用类别相关的分组方式实现特征空间对齐。在测试阶段,得益于训练过程中学习到的高质量参数,各主任务可独立地从主干网络的相关通道中提取出语义对齐的局部区域特征,无需额外的部位检测步骤。MPN具有三大优势:(1)推理阶段无需进行人体部位检测,显著降低计算开销;(2)模型结构紧凑,训练与推理均高效;(3)训练阶段仅需获取身体部位的粗略位置先验,该信息易于获取且无需精确标注。在四个大规模ReID数据集上的系统性实验表明,MPN在各项指标上均显著优于当前最先进的方法。相关代码已开源,地址为:https://github.com/WangKan0128/MPN。

代码仓库

WangKan0128/MPN
官方
pytorch

基准测试

基准方法指标
person-re-identification-on-cuhk03-detectedMPN (without re-ranking)
MAP: 79.1
Rank-1: 83.4
person-re-identification-on-cuhk03-labeledMPN (without re-ranking)
MAP: 81.1
Rank-1: 85
person-re-identification-on-dukemtmc-reidMPN (without re-ranking)
Rank-1: 91.5
mAP: 82
person-re-identification-on-market-1501MPN* (without re-ranking)
Rank-1: 96.4
mAP: 90.1
person-re-identification-on-msmt17MPN (without re-ranking)
Rank-1: 83.5
mAP: 62.7

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于粗粒度先验的多任务学习在鲁棒的部件感知行人重识别中的应用 | 论文 | HyperAI超神经