3 个月前

通过单目视频提升单帧3D人体姿态估计

通过单目视频提升单帧3D人体姿态估计

摘要

训练高精度三维人体姿态估计网络的前提是拥有大量丰富标注的训练数据。然而,手动获取丰富且准确的标注,即便并非完全不可能,也极为繁琐且耗时。本文提出利用单目视频来补充单图像三维人体姿态估计任务的训练数据集。首先,使用少量标注数据训练一个基线模型;随后,通过固定该模型生成的可靠姿态估计结果,将整个视频中的标注自动推断出来,从而将问题转化为三维轨迹补全任务。在此基础上,利用所收集的标注数据进一步训练基线模型,使其学习新的姿态。我们在广泛使用的Human3.6M和MPI-INF-3DHP数据集上对所提方法进行了评估。实验结果表明,仅需少量初始标注,本方法即可成功使模型从无标注的单目视频中学习新姿态,使基线模型的精度提升约10%。与以往方法相比,本方法无需依赖多视角图像或任何显式的二维关键点标注,具有更强的实用性与通用性。

基准测试

基准方法指标
weakly-supervised-3d-human-pose-estimation-onLi et al.
3D Annotations: S1
Average MPJPE (mm): 88.8
Number of Views: 1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
通过单目视频提升单帧3D人体姿态估计 | 论文 | HyperAI超神经