摘要

我们提出了一种新颖的方法，用于在完整六自由度（6 DoF）下追踪快速运动的物体，主要针对非均匀球形物体，能够以小于视频帧曝光时间的时间步长，同时估计其三维运动轨迹、三维姿态以及物体外观的变化。通过实现亚帧级的物体定位与外观估计，该方法可实现逼真的时间超分辨率，并获得高精度的三维形状估计。该方法称为TbD-3D（基于三维去模糊的追踪，Tracking by Deblatting in 3D），其核心是基于一种新型重建算法，用于求解分段去模糊与抠像（matting）联合问题。三维旋转通过最小化重投影误差进行估计。作为第二项贡献，我们构建了一个新的具有挑战性的数据集，其中包含外观和与相机距离均发生显著变化的快速运动物体。该数据集通过高速摄像机录制生成，各帧曝光之间无延迟，并以不同帧率生成视频，同时附带真实轨迹与姿态的标注信息。