3 个月前

SEFD:学习蒸馏复杂姿态与遮挡

SEFD:学习蒸馏复杂姿态与遮挡

摘要

本文针对复杂姿态与遮挡情境下的三维(3D)人体网格估计问题提出解决方案。尽管基于二维(2D)姿态的人体遮挡建模已取得诸多进展,但由复杂姿态及其他物体引起的遮挡问题仍持续存在,成为制约性能提升的关键挑战。为此,本文提出一种新型的皮肤化多人体线性模型(Skinned Multi-Person Linear, SMPL)边缘特征蒸馏方法(SMPL Edge Feature Distillation, SEFD),该方法在不增加模型参数量的前提下,展现出对复杂姿态与遮挡的强大鲁棒性。该模型生成的SMPL重叠边缘图与真实标注高度相似,能够有效包含目标人体边界及遮挡信息,并在简化后的边缘图上实现后续特征蒸馏。我们在多个基准数据集上进行了广泛实验,结果在定性与定量层面均表现出优异的重建保真度。大量实验证明,在存在域差异(domain gap)的情况下,本方法在3DPW基准数据集上的平均关节位置误差(MPJPE)和平均顶点位置误差(MPVPE)分别优于当前最先进方法2.8%和1.9%。此外,在包含遮挡、复杂姿态及域差异的3DPW-OCC、3DPW-PC、RH-Dataset、OCHuman、CrowdPose和LSP等多个数据集上,本方法同样表现卓越。相关代码及遮挡与复杂姿态标注数据集将公开发布于:https://anonymous.4open.science/r/SEFD-B7F8/

基准测试

基准方法指标
2d-human-pose-estimation-on-ochumanSEFD
Test AP: 44.1
3d-human-pose-estimation-on-3dpwSEFD
MPJPE: 77.37
MPVPE: 92.60
PA-MPJPE: 49.39
3d-human-pose-estimation-on-3dpwSEFD_GT
MPJPE: 64.75
MPVPE: 78.36
PA-MPJPE: 43.79

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
SEFD:学习蒸馏复杂姿态与遮挡 | 论文 | HyperAI超神经