3 个月前

一种基于扩散模型的野外3D人体姿态预测通用方法

一种基于扩散模型的野外3D人体姿态预测通用方法

摘要

在真实场景中预测三维人体姿态(即人体姿态预测)不可避免地会受到噪声输入的影响,这些噪声主要来源于三维姿态估计的不准确以及遮挡问题。为应对这些挑战,我们提出了一种基于扩散模型的方法,能够对给定的噪声观测进行预测。我们将预测任务建模为一个去噪问题,将观测序列与预测序列统一视为包含缺失元素的单一序列(无论缺失部分出现在观测阶段还是预测阶段)。所有缺失元素均被视为噪声,并通过我们提出的条件扩散模型进行去噪处理。为进一步提升长期预测性能,我们设计了一种时间级联扩散模型。我们在四个公开可用的数据集(Human3.6M、HumanEva-I、AMASS 和 3DPW)上验证了该方法的有效性,结果优于当前最先进的方法。此外,我们还证明了该框架具有较强的通用性,可作为预处理步骤修复任意三维姿态预测模型的输入,也可作为后处理步骤优化其输出,从而提升现有模型的整体性能。代码已公开:\url{https://github.com/vita-epfl/DePOSit}。

代码仓库

vita-epfl/deposit
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-pose-forecasting-on-3dpwTCD
FDE@1000ms (mm): 73.4
FDE@560ms (mm): 55.4
FDE@720ms (mm): 61.6
FDE@880ms (mm): 67.9
human-pose-forecasting-on-amassTCD
FDE@1000ms (mm): 66.7
FDE@560ms (mm): 49.8
FDE@720ms (mm): 54.5
FDE@880ms (mm): 60.1
human-pose-forecasting-on-human36mTCD
ADE: 356
APD: 19466
FDE: 396
MMADE: 463
MMFDE: 445
human-pose-forecasting-on-humaneva-iTCD
ADE@2000ms: 199
APD@2000ms: 6764
FDE@2000ms: 215

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种基于扩散模型的野外3D人体姿态预测通用方法 | 论文 | HyperAI超神经