3 个月前

细粒度形状-外观互学习在换衣行人重识别中的应用

细粒度形状-外观互学习在换衣行人重识别中的应用

摘要

近年来,行人重识别(Re-ID)技术取得了显著进展。然而,现有方法在很大程度上依赖于颜色外观信息,当行人更换衣物时,该类特征的可靠性显著下降。在衣物变化场景下的行人重识别(Cloth-changing Re-ID)面临严峻挑战,因为同一行人在不同着装下的图像表现出较大的类内差异,而类间差异则相对较小。此外,用于识别的关键特征往往隐藏在行人之间细微的体态差异之中。为挖掘此类体态线索以应对衣物变化带来的挑战,本文提出一种细粒度体态-外观互学习框架(Fine-grained Shape-Appearance Mutual learning, FSAM),该框架采用双流结构:在体态流中学习细粒度的判别性体态知识,并将其迁移至外观流,以补充外观特征中与衣物无关的语义信息。具体而言,在体态流中,FSAM在身份信息的引导下,学习细粒度的判别性掩码,并通过一种姿态特定的多分支网络提取细粒度体态特征。为增强外观流中与衣物无关的体态知识,框架在低层与高层特征之间实施密集的交互式互学习机制,实现从体态流到外观流的知识迁移。该设计使得外观流可在无需额外掩码估计计算的前提下独立部署,显著提升了模型的实用性与效率。我们在多个基准的衣物变化Re-ID数据集上对所提方法进行了评估,实验结果表明,FSAM在各项指标上均达到当前最优性能,验证了其在复杂衣物变化场景下的有效性与鲁棒性。

基准测试

基准方法指标
person-re-identification-on-ltccFSAM
Rank-1: 38.5
mAP: 16.2
person-re-identification-on-prccFSAM
Rank-1: 54.5
person-re-identification-on-vc-clothesFSAM
Rank-1: 78.6
mAP: 78.9

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
细粒度形状-外观互学习在换衣行人重识别中的应用 | 论文 | HyperAI超神经