4 个月前

视频中人物再识别的空间-时间关联与拓扑学习

视频中人物再识别的空间-时间关联与拓扑学习

摘要

基于视频的人重识别旨在匹配非重叠摄像头视图中来自视频序列的行人。实现视频人物重识别的关键因素是有效利用视频序列中的空间和时间线索。在本研究中,我们提出了一种新颖的空间-时间相关性和拓扑学习框架(Spatial-Temporal Correlation and Topology Learning, CTL),通过建模跨尺度的空间-时间相关性来追求具有区分性和鲁棒性的表示。具体而言,CTL 利用卷积神经网络(CNN)主干和关键点估计器从人体多个粒度提取语义局部特征作为图节点。该框架探索了一种上下文增强的拓扑结构,通过考虑全局上下文信息和人体物理连接来构建多尺度图。此外,设计了三维图卷积和跨尺度图卷积,这有助于直接进行跨时空和跨尺度的信息传播,从而捕捉层次化的空间-时间依赖关系和结构信息。通过联合执行这两种卷积操作,CTL 有效地挖掘了与外观信息互补的全面线索,以增强表示能力。广泛的实验在两个视频基准数据集上验证了所提方法的有效性和最先进的性能。

基准测试

基准方法指标
video-deinterlacing-on-msu-deinterlacerST-Deint
FPS on CPU: 2.7
PSNR: 40.869
SSIM: 0.964
Subjective: 0.550
VMAF: 94.36

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
视频中人物再识别的空间-时间关联与拓扑学习 | 论文 | HyperAI超神经