3 个月前

基于辅助空间中Gumbel-Softmax采样的多样化人类运动预测

基于辅助空间中Gumbel-Softmax采样的多样化人类运动预测

摘要

多样化人类运动预测旨在从一组观测到的姿势序列中,预测出多个可能的未来姿势序列。以往的方法通常采用深度生成网络来建模数据的条件分布,随后从该分布中随机采样以获得结果。然而,这些方法生成的结果通常仅限于最可能的几种情形,缺乏足够的多样性。近期研究通过确定性网络显式学习条件分布的多个模态,但此类方法仅能覆盖有限范围内固定数量的模态,灵活性不足。本文提出一种新颖的采样策略,用于从深度生成模型所学习到的非均衡多模态分布中,高效采样出高度多样化的未来运动序列。该方法的核心思想是构建一个辅助空间,并通过巧妙设计使在该辅助空间中的随机采样等价于从目标分布中实现多样化采样。为此,我们设计了一种简洁而有效的网络架构,其结合了Gumbel-Softmax系数矩阵采样方法与一种具有强多样性促进作用的铰链损失函数(hinge loss function)。大量实验结果表明,与现有最先进采样方法相比,本方法在显著提升采样结果多样性的同时,也保持甚至提高了预测准确性。相关代码与预训练模型已开源,可访问:https://github.com/Droliven/diverse_sampling。

代码仓库

droliven/diverse_sampling
官方
pytorch
GitHub 中提及
Droliven/DHMP_jittor
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
human-pose-forecasting-on-human36mDiverseSampling
ADE: 370
APD: 15310
CMD: 11.692
FDE: 485
FID: 2.083
MMADE: 475
MMFDE: 516
human-pose-forecasting-on-humaneva-iDHMP
ADE@2000ms: 220
APD@2000ms: 6109
FDE@2000ms: 234
MMADE@2000ms: 342
MMFDE@2000ms: 316

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于辅助空间中Gumbel-Softmax采样的多样化人类运动预测 | 论文 | HyperAI超神经