摘要

单目三维动作捕捉（mocap）在诸多应用中具有重要价值。然而，由于仅依赖单个摄像头，系统往往难以处理身体各部位之间的遮挡问题，因而通常仅适用于捕捉相对简单的运动。为此，我们提出了一种轻量级、混合式的动作捕捉方法——HybridCap，该方法在学习与优化框架下仅需在身体上部署4个惯性测量单元（IMUs），即可显著提升捕捉性能。我们首先设计了一种弱监督、分层式运动推断模块，基于协同的门控循环单元（Gated Recurrent Unit, GRU）结构，分别作为肢体、躯干和根节点的追踪器，并集成逆运动学求解器。该网络通过粗到精的姿势估计策略，有效缩小了合理运动姿态的搜索空间，从而在高效率下成功应对复杂运动挑战。此外，我们进一步构建了一种混合优化方案，融合惯性传感器反馈与视觉信息，以进一步提升追踪精度。在多个公开数据集上的大量实验表明，HybridCap能够稳健地处理从健身动作到拉丁舞等多种复杂运动。该方法在保持业界领先精度的同时，实现了高达60帧/秒的实时性能，具备良好的实用前景。