4 个月前

BeLFusion:基于行为驱动的人体运动预测的潜在扩散模型

BeLFusion:基于行为驱动的人体运动预测的潜在扩散模型

摘要

随机人体运动预测(Stochastic Human Motion Prediction, HMP)通常采用生成对抗网络和变分自编码器来解决。大多数先前的研究旨在通过骨骼关节的分散度来预测高度多样化的运动。这导致了预测快速且运动差异较大的方法,这些方法往往不切实际,且与过去的运动不连贯。此外,这些方法还忽略了需要预见细微关节位移的多样化低范围行为或动作的情境。为了解决这些问题,我们提出了BeLFusion模型,该模型首次在HMP中利用潜在扩散模型从一个行为与姿态和运动分离的潜在空间中采样。因此,多样性从行为角度得到了鼓励。得益于我们的行为耦合器将采样的行为转移到正在进行的运动的能力,BeLFusion的预测显示出显著比现有技术更为现实的各种行为。为了支持这一点,我们引入了两个指标:累积运动分布面积(Area of the Cumulative Motion Distribution)和平均成对距离误差(Average Pairwise Distance Error),这两个指标与我们根据126名参与者进行的定性研究定义的现实性相关联。最后,我们在一个新的跨数据集场景中证明了BeLFusion的泛化能力,用于随机HMP。

代码仓库

BarqueroGerman/BeLFusion
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-pose-forecasting-on-amassBeLFusion
ADE: 0.513
APD: 9.376
APDE: 1.977
FDE: 0.560
human-pose-forecasting-on-human36mBeLFusion
ADE: 372
APD: 7602
CMD: 5.988
FDE: 474
FID: 0.209
MMADE: 473
MMFDE: 507

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
BeLFusion:基于行为驱动的人体运动预测的潜在扩散模型 | 论文 | HyperAI超神经