3 个月前

DLow:用于多样化人类运动预测的潜在流多样化

DLow:用于多样化人类运动预测的潜在流多样化

摘要

深度生成模型常被用于人体运动预测,因其能够建模多模态数据分布,并刻画多样化的人体行为。尽管在设计与训练深度生成模型方面已投入大量努力,但如何在模型训练完成后高效生成多样化的样本,仍是一个尚未充分探索的问题。现有大多数生成式人体运动预测方法在获取预训练生成模型的样本时,通常通过独立地采样一组高斯潜变量(latent codes),并将其转换为运动样本。然而,这种随机采样策略难以保证生成样本的多样性,主要原因有二:(1)独立采样无法强制样本之间具有差异性;(2)采样过程仅依赖于似然函数,可能导致生成的样本仅集中在数据分布的主要模式上,而忽略其他潜在的合理行为模式。为解决上述问题,本文提出一种新颖的采样方法——多样化潜流(Diversifying Latent Flows, DLow),用于从预训练的深度生成模型中生成一组具有高度多样性的样本。与传统的随机(独立)采样不同,DLow方法首先采样一个单一的随机变量,随后通过一组可学习的映射函数,将其转换为一组具有相关性的潜变量。这些相关潜变量再被解码为一组具有相关性的生成样本。在训练阶段,DLow引入一种促进多样性的先验分布作为优化目标,以指导潜变量映射函数的学习,从而提升生成样本的多样性。该先验设计具有高度灵活性,可根据具体需求定制,例如生成在腿部动作上保持一致、但上半身动作各不相同的多样化运动序列。实验结果表明,DLow在样本多样性与生成准确性方面均显著优于当前最先进的基线方法。相关代码已公开发布于项目主页:https://www.ye-yuan.com/dlow。

代码仓库

Khrylx/DLow
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-pose-forecasting-on-amassDlow
ADE: 0.590
APD: 13.170
FDE: 0.612

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DLow:用于多样化人类运动预测的潜在流多样化 | 论文 | HyperAI超神经