3 个月前

多视角匹配(Multi-View Matching, MVM):通过动作冻结的人体视频促进多人3D姿态估计学习

多视角匹配(Multi-View Matching, MVM):通过动作冻结的人体视频促进多人3D姿态估计学习

摘要

为解决从单张图像中进行多人3D姿态估计这一具有挑战性的问题,本文提出了一种多视角匹配(Multi-View Matching, MVM)方法。该方法基于一个大规模视频数据集——Mannequin数据集,该数据集包含动作定格的人体图像,其姿态模仿人体模型(mannequins)。通过MVM方法自动生成大量具有3D监督信息的野外视频数据,我们得以训练一个以单张图像为输入的神经网络,实现高效的多人3D姿态估计。MVM方法的核心技术在于对静态场景中多视角获取的2D姿态进行有效对齐,该过程受到强烈的几何约束。我们的目标是最大化多帧中估计出的2D姿态之间的相互一致性,同时综合考虑几何约束与外观相似性。为验证MVM方法所提供的3D监督信号的有效性,我们在3DPW和MSCOCO两个基准数据集上进行了实验,结果表明,所提出的方法达到了当前最优的性能水平。

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwMVM
PA-MPJPE: 78.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多视角匹配(Multi-View Matching, MVM):通过动作冻结的人体视频促进多人3D姿态估计学习 | 论文 | HyperAI超神经