4 个月前

LASOR:通过合成遮挡感知数据和神经网格渲染学习准确的3D人体姿态和形状

LASOR:通过合成遮挡感知数据和神经网格渲染学习准确的3D人体姿态和形状

摘要

在人体姿态和形状估计任务中,遮挡是一个关键挑战,包括自遮挡、物体-人体遮挡和人际间遮挡。缺乏多样化且准确的姿态和形状训练数据成为了一个主要瓶颈,尤其是在野外场景中的遮挡情况下。本文重点关注人际间遮挡下的人体姿态和形状估计问题,同时处理物体-人体遮挡和自遮挡。我们提出了一种新颖的框架,该框架合成了考虑遮挡的轮廓和2D关键点数据,并直接回归到SMPL姿态和形状参数。利用神经3D网格渲染器实现了即时轮廓监督,这在形状估计方面带来了显著改进。此外,我们合成了全景视角下的关键点和轮廓驱动的训练数据,以弥补现有数据集中视角多样性的不足。实验结果表明,在3DPW和3DPW-Crowd数据集上,我们的方法在姿态估计准确性方面处于先进水平。在形状估计方面,所提方法明显优于Mesh Transformer、3DCrowdNet和ROMP。在SSP-3D数据集上,我们也取得了最高的形状预测准确性。演示视频和代码将在https://igame-lab.github.io/LASOR/提供。

代码仓库

iGame-Lab/LASOR
官方
pytorch

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwLASOR
PA-MPJPE: 57.9
3d-human-shape-estimation-on-ssp-3dLASOR
PVE-T-SC: 14.5
mIOU: 67

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LASOR:通过合成遮挡感知数据和神经网格渲染学习准确的3D人体姿态和形状 | 论文 | HyperAI超神经