
摘要
现有的3D人体姿态估计模型在应用于具有未见姿态的新场景时,由于泛化能力有限,性能显著下降。本文提出一种新颖的框架——推理阶段优化(Inference Stage Optimization, ISO),以提升3D姿态模型在源域与目标域姿态分布不一致情况下的泛化能力。我们的核心洞察在于:尽管目标数据未标注,但其本身蕴含着关于潜在分布的宝贵先验信息。为充分利用这一信息,所提出的ISO框架在每个单独的目标实例上执行几何感知的自监督学习(Self-Supervised Learning, SSL),并在预测前对3D姿态模型进行更新。通过这种方式,模型能够挖掘目标场景的分布特性,并实现快速适应,从而显著提升泛化性能。此外,针对序列化目标数据,我们进一步提出了在线模式,通过流式处理自监督学习过程来实现ISO框架,大幅增强了其实际有效性。我们在多种跨场景设置下的基准数据集上系统分析了ISO框架的工作原理及其有效性。令人瞩目的是,该方法在MPI-INF-3DHP数据集上取得了83.6%的3D PCK新最优成绩,相比此前最佳结果提升了9.7%。代码将公开发布。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-human-pose-estimation-on-3dpw | ISO | PA-MPJPE: 75.8 |