4 个月前

以掩模作为监督:利用统一的掩模信息进行无监督3D姿态估计

以掩模作为监督:利用统一的掩模信息进行无监督3D姿态估计

摘要

从单目RGB图像自动估计三维人体姿态是计算机视觉领域的一个具有挑战性且尚未解决的问题。在监督学习方法中,这些方法严重依赖于繁琐的人工标注,并且由于三维姿态数据集的多样性有限,其泛化能力受到限制。为了解决这些问题,我们提出了一种统一框架,该框架利用掩码作为监督信号进行无监督三维姿态估计。通过使用通用的无监督分割算法,所提出的模型采用了骨骼和体型表示方法,从粗到细地利用精确的姿态信息。与之前的无监督方法相比,我们的方法以完全无监督的方式组织人体骨骼结构,这使得处理无需标注的数据成为可能,并提供了可以直接使用的估计结果。广泛的实验表明,我们在Human3.6M和MPI-INF-3DHP数据集上取得了最先进的姿态估计性能。进一步在野外数据集上的实验也展示了我们的模型能够利用更多数据来提升性能。代码将在https://github.com/Charrrrrlie/Mask-as-Supervision 上提供。

代码仓库

charrrrrlie/mask-as-supervision
官方
GitHub 中提及

基准测试

基准方法指标
unsupervised-3d-human-pose-estimation-onMask as Supervision
MPJPE: 95.9
N-MPJPE: 96.8
P-MPJPE: 90.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供