3 个月前

TRAM:从真实场景视频中获取3D人类的全局轨迹与运动

TRAM:从真实场景视频中获取3D人类的全局轨迹与运动

摘要

我们提出TRAM,一种两阶段方法,用于从野外视频中重建人类的全局轨迹与运动。TRAM通过增强SLAM(同时定位与地图构建)技术,有效应对动态人体干扰,实现相机运动的稳定恢复,并利用场景背景信息推导出运动尺度。以恢复的相机作为度量尺度参考帧,我们引入一种视频Transformer模型(VIMO),用于回归人体的运动学运动。通过融合两阶段的运动信息,我们实现了对世界空间中三维人体的高精度重建,相较以往方法显著降低了全局运动误差。项目主页:https://yufu-wang.github.io/tram4d/

代码仓库

yufu-wang/tram
官方
pytorch

基准测试

基准方法指标
3d-human-pose-estimation-on-emdbTRAM
Average MPJPE (mm): 74.4
Average MPJPE-PA (mm): 45.7
Average MVE (mm): 86.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TRAM:从真实场景视频中获取3D人类的全局轨迹与运动 | 论文 | HyperAI超神经