4 个月前

体网格作为点

体网格作为点

摘要

在本研究中,我们探讨了具有挑战性的多人三维人体网格估计任务。现有的方法大多采用两阶段流程——一个阶段用于人员定位,另一个阶段用于个体的人体网格估计,这导致了计算成本高且在复杂场景(例如被遮挡的人员实例)下性能下降的问题。为此,我们提出了一种单阶段模型,即“基于点的人体网格”(Body Meshes as Points, BMP),以简化流程并提高效率和性能。具体而言,BMP采用了一种新的方法,将多个人员实例表示为空间深度空间中的点,每个点对应一个身体网格。借助这种表示方法,BMP可以在单个阶段内直接预测多个人员的身体网格,同时进行人员实例点的定位和相应身体网格的估计。为了更好地推断同一场景中所有人员的深度顺序,BMP设计了一个简单而有效的实例间序深度损失函数,从而获得深度一致的人体网格估计。此外,BMP还引入了一种新颖的关键点感知增强技术,以增强模型对被遮挡人员实例的鲁棒性。在Panoptic、MuPoTS-3D和3DPW基准数据集上的全面实验清楚地展示了BMP在多人三维人体网格估计方面的最先进效率以及卓越的准确性。代码可从以下链接获取:https://github.com/jfzhang95/BMP。

代码仓库

jfzhang95/BMP
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-human-pose-estimation-on-3dpwBMP
MPJPE: 104.1
MPVPE: 119.3
PA-MPJPE: 63.8
3d-human-pose-estimation-on-human36mBMP
PA-MPJPE: 51.3
3d-multi-person-human-pose-estimation-onBMP
3DPCK: 73.83
3d-multi-person-pose-estimation-on-cmuBMP
Average MPJPE (mm): 135.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
体网格作为点 | 论文 | HyperAI超神经