4 个月前

时间知识传播在图像到视频的人重识别中的应用

时间知识传播在图像到视频的人重识别中的应用

摘要

在许多行人重识别(Re-ID)场景中,画廊集由大量监控视频组成,而查询仅是一张图像,因此行人重识别需要在图像和视频之间进行。与视频相比,静态人物图像缺乏时间信息。此外,图像和视频特征之间的信息不对称增加了匹配的难度。为了解决这一问题,我们提出了一种新颖的时间知识传播(Temporal Knowledge Propagation, TKP)方法,该方法将视频表示网络学习到的时间知识传播到图像表示网络。具体而言,给定输入视频,我们在共享特征空间中强制图像表示网络适应视频表示网络的输出。通过反向传播,时间知识可以被转移到增强图像特征,并缓解信息不对称问题。结合额外的分类损失和综合三元组损失,我们的模型可以学习到具有表现力和区分性的图像和视频特征,用于图像到视频的重识别。大量的实验验证了我们方法的有效性,并且在两个广泛使用的数据集上的整体结果大幅超越了现有最先进方法。代码可从以下链接获取:https://github.com/guxinqian/TKP

代码仓库

guxinqian/TKP
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
person-re-identification-on-ilids-vidTKP
Rank-1: 54.6
Rank-10: 86.9
Rank-20: 93.5
Rank-5: 79.4
person-re-identification-on-marsTKP
Rank-1: 84
Rank-10: 95.7
Rank-5: 93.7
mAP: 73.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
时间知识传播在图像到视频的人重识别中的应用 | 论文 | HyperAI超神经