摘要

现有的大多数单目三维姿态估计方法仅关注人体的某一部分，忽略了人类运动的本质在于面部、双手与躯干之间细微动作的协同表达。本文提出了一种名为FrankMocap的快速且高精度的全身三维姿态估计系统，能够从自然场景下的单张图像中同步生成面部、双手及躯干的三维姿态。FrankMocap的核心思想在于其模块化设计：我们首先独立运行针对面部、双手和躯干的三维姿态回归方法，随后通过一个集成模块将各部分的回归结果进行融合。这种分离的回归模块设计使我们能够充分发挥各子模块在各自任务上的最先进性能，同时在实际应用中不牺牲原有的准确性和可靠性。我们设计了三种不同的集成模块，分别在延迟与精度之间进行权衡。所有模块均能以简洁而有效的方式，将独立输出统一为连贯一致的全身姿态估计结果。通过定量与定性实验，我们验证了所提出的模块化系统在整体性能上显著优于基于优化的方法以及端到端的全身姿态估计方法。