4 个月前

基于多视角的快速鲁棒多人三维姿态估计

基于多视角的快速鲁棒多人三维姿态估计

摘要

本文探讨了在少数已校准摄像头视图中进行多人三维姿态估计的问题。该问题的主要挑战在于从噪声和不完整的二维姿态预测中找到跨视角对应关系。大多数先前的方法通过直接在三维空间中使用图像结构模型来应对这一挑战,但由于状态空间庞大,这种方法效率较低。我们提出了一种快速且鲁棒的方法来解决此问题。我们的核心思想是利用多路匹配算法对所有视图中检测到的二维姿态进行聚类。每个聚类结果都编码了不同视角下同一个人的二维姿态及其关键点之间的一致对应关系,从而可以有效地推断出每个人的三维姿态。所提出的基于凸优化的多路匹配算法不仅高效,而且对缺失和错误检测具有鲁棒性,无需事先知道场景中的人数。此外,我们建议将几何和外观线索结合起来用于跨视角匹配。所提出的方法在校园(Campus)和货架(Shelf)数据集上显著优于现有方法(分别达到96.3% vs. 90.6% 和 96.9% vs. 88% 的性能),同时适用于实时应用。

代码仓库

zju3dv/EasyMocap
pytorch
GitHub 中提及
perfanalytics/pose2sim
pytorch
GitHub 中提及
openxrlab/xrmocap
pytorch
GitHub 中提及
zju3dv/mvpose
tf
GitHub 中提及

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于多视角的快速鲁棒多人三维姿态估计 | 论文 | HyperAI超神经