摘要

尽管近年来在单目无标记人体运动捕捉方面取得了显著进展，但最先进的方法在遮挡场景中仍难以获得令人满意的结果。主要原因有两个：一是遮挡运动捕捉本质上具有模糊性，因为不同的三维姿态可以映射到相同的二维观测结果，这通常会导致不可靠的估计；二是缺乏足够的遮挡人体数据来训练一个鲁棒的模型。为了解决这些障碍，我们的关键思路是利用非遮挡人体数据通过自监督策略学习一个关节级别的时空运动先验，以辅助遮挡人体的运动捕捉。为了进一步缩小合成数据与真实遮挡数据之间的差距，我们构建了第一个3D遮挡运动数据集（OcMotion），该数据集可用于训练和测试。我们将运动编码为二维地图，并在非遮挡数据上合成遮挡以进行自监督训练。随后设计了一个时空层来学习关节级别的相关性。所学的先验减少了遮挡的模糊性，并对多种类型的遮挡具有鲁棒性，从而被用于辅助遮挡人体运动捕捉。实验结果表明，我们的方法可以从遮挡视频中生成准确且连贯的人体运动，并具有良好的泛化能力和运行效率。该数据集和代码已公开发布于 \url{https://github.com/boycehbz/CHOMP}。