4 个月前

基于去模糊的帧内目标跟踪

基于去模糊的帧内目标跟踪

摘要

在视频中,尤其是在体育视频中,经常会出现沿复杂轨迹高速移动的物体。这些物体在一个帧的曝光时间内会移动相当大的距离,因此其在帧中的位置难以准确定义。由于运动模糊,它们会以半透明的条纹形式出现,并且无法通过标准跟踪器可靠地进行跟踪。我们提出了一种基于观察的新方法——去模糊跟踪(Tracking by Deblatting),该方法认为运动模糊与物体在帧内的轨迹直接相关。通过解决两个相互关联的逆问题——盲去模糊和图像抠图(image matting),我们估计了模糊,这一过程称为去模糊化(deblatting)。然后,通过拟合分段二次曲线来估计轨迹,该曲线模型能够合理描述物理上可行的轨迹。结果表明,所跟踪的物体在时间分辨率上比传统跟踪器更高,定位更加精确。所提出的TbD跟踪器在一个新创建的数据集上进行了评估,该数据集通过高速摄像机获取了真实轨迹,并使用了一种新的Trajectory-IoU度量指标来衡量帧内轨迹的准确性,该指标是对传统的交并比(Intersection over Union)的一种扩展。实验结果显示,所提出的方法在召回率和轨迹准确性方面均优于基线方法。

代码仓库

rozumden/tbd3d
GitHub 中提及
rozumden/tbd
pytorch
GitHub 中提及

基准测试

基准方法指标
video-super-resolution-on-falling-objectsTbD
PSNR: 20.53
SSIM: 0.591
TIoU: 0.539
video-super-resolution-on-tbdTbD
PSNR: 23.22
SSIM: 0.605
TIoU: 0.542
video-super-resolution-on-tbd-3dTbD
PSNR: 18.84
SSIM: 0.504
TIoU: 0.598

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于去模糊的帧内目标跟踪 | 论文 | HyperAI超神经