
摘要
遮挡人员重识别(ReID)是一项基于外观匹配遮挡个体的度量学习任务。尽管许多研究已经解决了由物体引起的遮挡问题,但多人遮挡仍然较少被探讨。在本工作中,我们识别并解决了一个先前遮挡ReID方法忽视的关键挑战:当多个个体出现在同一个边界框中时产生的多人模糊性(Multi-Person Ambiguity, MPA),这使得在候选对象中确定目标ReID对象变得不可能。受近期视觉领域提示技术的启发,我们引入了关键点提示重识别(Keypoint Promptable ReID, KPR),这是一种新的ReID问题表述方式,通过显式地补充一组表示目标对象的语义关键点来增强输入的边界框。由于提示重识别是一个未被探索的范式,现有的ReID数据集缺乏必要的像素级注释以进行提示。为了弥合这一差距并促进该领域的进一步研究,我们引入了Occluded-PoseTrack ReID,这是一个具有关键点标签的新ReID数据集,其特点是强烈的个体间遮挡。此外,我们还为四个流行的ReID基准数据集发布了自定义的关键点标签。在人员检索和姿态跟踪方面的实验表明,我们的方法在各种遮挡场景下系统性地超越了以往的最先进方法。我们的代码、数据集和注释可在https://github.com/VlSomers/keypoint_promptable_reidentification 获取。
代码仓库
vlsomers/keypoint_promptable_reidentification
官方
pytorch
GitHub 中提及
vlsomers/bpbreid
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| person-re-identification-on-market-1501 | KPR | Rank-1: 95.9 mAP: 89.6 |
| person-re-identification-on-market-1501 | KPR + SOLIDER (no RK) | Rank-1: 96.62 mAP: 93.22 |
| person-re-identification-on-occluded | KPR | MAP: 82.31 Rank-1: 92.31 |
| person-re-identification-on-occluded-dukemtmc | KPR | Rank-1: 79.83 mAP: 67.13 |
| person-re-identification-on-occluded-dukemtmc | KPR + SOLIDER | Rank-1: 84.31 mAP: 75.11 |
| person-re-identification-on-occluded-reid-1 | KPR | Rank-1: 85.42 mAP: 79.1 |
| person-re-identification-on-partial-reid | KPR | Rank-1: 90 |
| person-re-identification-on-partial-reid | KPR + SOLIDER | Rank-1: 94.01 |