3 个月前

基于物理的单目视频三维人体姿态重建中的轨迹优化

基于物理的单目视频三维人体姿态重建中的轨迹优化

摘要

本文聚焦于从单目视频中估计符合物理规律的刚体人体运动这一任务。现有方法若不考虑物理约束,通常会产生时间上不一致的输出,并伴随运动伪影;而当前最先进的基于物理的方法,要么仅在受控实验室环境下有效,要么仅考虑局限于足部的简化人体-地面接触模型。本文探讨了如何通过将功能完整的物理引擎直接融入姿态估计过程,来克服上述局限。给定一个非受控的真实场景输入,我们的方法首先估计地面平面的位置以及物理人体模型的尺寸参数,随后通过轨迹优化恢复出符合物理规律的运动。该方法的优势在于,其可自然推广至具有多样地面属性的各类场景,并能支持任意形式的自接触以及人体关节结构与场景几何之间的接触。实验结果表明,我们在Human3.6M基准测试中取得了与现有基于物理的方法相当的性能,同时无需重新训练即可直接应用于AIST基准中的复杂动态动作,以及真实互联网视频中的多样化运动场景。

基准测试

基准方法指标
3d-human-pose-estimation-on-human36mHUND+SO+GT + Dynamics
Average MPJPE (mm): 84
PA-MPJPE: 56

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于物理的单目视频三维人体姿态重建中的轨迹优化 | 论文 | HyperAI超神经