4 个月前

通过彩色化视频实现跟踪

通过彩色化视频实现跟踪

摘要

我们利用大量未标记的视频来学习无需人工监督的视觉跟踪模型。通过利用颜色在时间上的自然连贯性,我们创建了一个模型,该模型能够通过从参考帧复制颜色来为灰度视频着色。定量和定性实验表明,这一任务促使模型自动学习跟踪视觉区域。尽管该模型是在没有任何真实标签的情况下训练的,但我们的方法已经能够学会足够好的跟踪技术,以超越基于光流的最新方法。此外,我们的结果还表明,跟踪失败与着色失败之间存在相关性,这表明推进视频着色技术可能会进一步改善自监督视觉跟踪的效果。

代码仓库

基准测试

基准方法指标
skeleton-based-action-recognition-on-jhmdbColorPointer
PCK@0.1: 45.2
PCK@0.2: 69.6
PCK@0.3: 80.8
PCK@0.4: 87.5
PCK@0.5: 91.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过彩色化视频实现跟踪 | 论文 | HyperAI超神经