HyperAIHyperAI

Command Palette

Search for a command to run...

表达性身体捕捉:从单张图像中提取3D手部、面部和身体

Georgios Pavlakos Vasileios Choutas Nima Ghorbani Timo Bolkart Ahmed A. A. Osman Dimitrios Tzionas Michael J. Black

摘要

为了便于分析人类的行为、互动和情感,我们从单目图像中计算出人体姿态、手部姿态和面部表情的三维模型。为此,我们使用数千个三维扫描数据训练了一个新的统一的人体三维模型——SMPL-X,该模型在SMPL的基础上扩展了完全可动的手部和富有表现力的面部。直接从图像回归SMPL-X参数在没有配对图像和三维真实数据的情况下具有挑战性。因此,我们采用了类似于SMPLify的方法,该方法首先估计二维特征,然后优化模型参数以适应这些特征。我们在几个重要方面改进了SMPLify:(1)检测与面部、手部和脚部对应的二维特征,并将完整的SMPL-X模型拟合到这些特征上;(2)使用大规模动作捕捉数据集训练一个新的神经网络姿态先验;(3)定义了一种新的快速且准确的互穿惩罚项;(4)自动检测性别并选择适当的身体模型(男性、女性或中性);(5)我们的PyTorch实现比Chumpy快8倍以上。我们使用新方法SMPLify-X将SMPL-X拟合到受控图像和自然环境中的图像上。我们在一个包含100张带有伪真实标签的新整理数据集上评估了三维精度。这是朝着从单目RGB数据自动捕捉富有表现力的人类行为迈出的一步。相关模型、代码和数据已发布在 https://smpl-x.is.tue.mpg.de 供研究使用。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
表达性身体捕捉:从单张图像中提取3D手部、面部和身体 | 论文 | HyperAI超神经