摘要

我们提出了PointOdyssey，这是一个大规模的合成数据集及其数据生成框架，旨在用于长期细粒度追踪算法的训练与评估。我们的目标是通过聚焦于具有自然运动特性的长视频，推动该领域技术的前沿发展。为实现自然性，我们采用真实世界动作捕捉数据驱动可变形角色的动画生成，构建与动作捕捉环境相匹配的三维场景，并利用从真实视频中通过运动恢复结构（structure-from-motion）挖掘出的相机轨迹来渲染视点。通过随机化角色外观、运动模式、材质、光照、三维资产及大气效果，我们实现了组合层面的多样性。目前，该数据集包含104段视频，平均每段长达2000帧，其对应关系标注数量较以往工作提升了数个数量级。我们证明，现有方法可在本数据集上从零开始训练，并取得优于已有公开版本的性能表现。此外，我们对PIPs点追踪方法进行了改进，显著扩展了其时间感受野，从而在PointOdyssey数据集以及两个真实世界基准测试中均实现了性能提升。相关数据与代码已公开，访问地址为：https://pointodyssey.com