HyperAIHyperAI

Command Palette

Search for a command to run...

VNect:使用单个RGB相机实现实时3D人体姿态估计

DUSHYANT MEHTA SRINATH SRIDHAR OLEKSANDR SOTNYCHENKO HELGE RHODIN MOHAMMAD SHAFIEI HANS-PETER SEIDEL WEIPENG XU DAN CASAS CHRISTIAN THEOBALT

摘要

我们提出了一种利用单个RGB相机以稳定且时间上一致的方式实时捕捉人体完整全局3D骨骼姿态的方法。该方法结合了一个基于卷积神经网络(CNN)的新姿态回归器与运动学骨架拟合技术。我们的创新全卷积姿态公式能够在实时环境中联合回归2D和3D关节位置,且不需要紧密裁剪的输入帧。一种实时运动学骨架拟合方法利用CNN的输出,基于连贯的运动学骨架生成时间上稳定的3D全局姿态重建。这使得我们的方法成为首个可用于实时应用(如3D角色控制)的单目RGB方法——迄今为止,此类应用中使用的唯一单目方法依赖于专门的RGB-D相机。我们的方法在准确性方面与最佳离线3D单目RGB姿态估计方法相当。从定性角度来看,我们的结果与单目RGB-D方法(如Kinect)的结果相当,有时甚至更优。然而,我们证明了我们的方法比RGB-D解决方案具有更广泛的应用范围,即它适用于户外场景、社区视频以及低质量的商品级RGB相机。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供