摘要

在三维人体姿态估计任务中，仍存在诸多挑战性问题，例如因遮挡（occlusion）和自遮挡导致的性能下降。近年来，惯性测量单元（IMU）与视觉传感器的数据融合被视作解决此类问题的有效途径。然而，以往针对IMU与视觉数据融合的研究——由于二者属于异构数据——未能充分挖掘IMU原始数据或视觉数据中可靠的高层特征信息。为实现更高效的传感器融合，本文提出一种基于参数化人体运动学模型的融合框架，命名为\emph{FusePose}。具体而言，该框架整合了IMU与视觉数据中的多源信息，并设计了三种具有差异性的传感器融合策略：NaiveFuse、KineFuse与AdaDeepFuse。其中，NaiveFuse作为基础方法，仅在欧几里得空间中融合简化的IMU数据与估计的三维姿态；而KineFuse则在运动学空间中，将经过标定与对齐的IMU原始数据与转换后的三维姿态参数进行融合；AdaDeepFuse进一步将该运动学融合过程拓展为可自适应、端到端可训练的范式。通过大量消融实验，验证了所提框架的合理性与优越性。实验结果表明，与基线方法相比，三维人体姿态估计性能显著提升。在Total Capture数据集上，KineFuse在仅使用IMU进行测试的情况下，超越了此前仅依赖IMU的最先进方法，性能提升达8.6%；而AdaDeepFuse在同时使用IMU进行训练与测试的条件下，超越现有最先进方法8.5%。此外，通过在Human3.6M数据集上的实验，进一步验证了本框架良好的泛化能力。