3 个月前

基于多视角知识蒸馏的鲁棒重识别

基于多视角知识蒸馏的鲁棒重识别

摘要

为实现行人重识别(Re-Identification)的鲁棒性,传统方法通常采用视频到视频(Video-to-Video)的范式,利用视频中的跟踪信息。然而,这类方法在单张图像查询场景(如图像到视频,Image-to-Video)下性能显著下降。近期研究通过将基于视频的网络所蕴含的时间信息迁移至基于图像的网络,缓解了这一性能衰减问题。在本文中,我们提出一种新型训练策略,能够将源自多个视角下目标物体的丰富视觉信息所形成的优越知识进行有效迁移。我们提出的方案——视角知识蒸馏(Views Knowledge Distillation, VKD),在教师-学生框架中,将这种视觉多样性作为监督信号,其中教师模型基于多视角输入进行训练,而学生模型仅观察较少视角。结果表明,该学生模型不仅超越了其教师模型,更在图像到视频重识别任务中大幅领先当前最优方法:在MARS数据集上提升6.3%的mAP,在Duke-Video-ReID上提升8.6%,在VeRi-776上提升5%。本文对行人、车辆及动物重识别任务进行了全面分析,从定性和定量两个维度深入探究了VKD的特性与优势。代码已开源,地址为:https://github.com/aimagelab/VKD。

代码仓库

aimagelab/VKD
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
person-re-identification-on-marsVKD (ResVKD-50bam)
Rank-1: 89.4
Rank-5: 96.8
mAP: 83.1
vehicle-re-identification-on-veriVKD (ResVKD-50)
mAP: 82.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于多视角知识蒸馏的鲁棒重识别 | 论文 | HyperAI超神经