3 个月前

鲁棒的运动插值

鲁棒的运动插值

摘要

在本研究中,我们提出了一种基于对抗性循环神经网络(adversarial recurrent neural networks)的新型、鲁棒的过渡动作生成技术,可作为3D动画师的新工具。该系统能够基于时间上稀疏的关键帧作为动画约束,合成高质量的动作序列。这一过程类似于传统动画流程中的“补间动画”(in-betweening)任务,即动画师在给定的关键帧之间绘制中间运动帧。我们首先表明,仅通过引入未来关键帧的条件信息,现有的先进动作预测模型难以直接转化为鲁棒的过渡生成器。为解决该问题,我们进一步提出两种新颖的可加性嵌入修正模块,它们在每一时间步作用于网络架构内部编码的潜在表示上。其中一种为“到达时间嵌入”(time-to-arrival embedding),使同一模型能够灵活适应不同长度的过渡过程;另一种为“调度式目标噪声向量”(scheduled target noise vector),使系统对目标姿态的扰动具有更强的鲁棒性,并在固定关键帧条件下实现多样化的过渡采样。为定性评估所提方法,我们开发了一款定制的MotionBuilder插件,利用训练好的模型在实际生产场景中执行补间动画任务。为定量评估模型在过渡生成性能及对更长时间尺度的泛化能力,我们在广泛使用的Human3.6M数据集的一个子集以及LaFAN1——一个专为过渡生成任务设计的新型高质量动作捕捉数据集——上构建了明确的补间动画基准测试。本文将同步发布该新数据集,并附带完整代码,以供复现我们的基线实验结果。

基准测试

基准方法指标
motion-synthesis-on-lafan1TG-complete
L2P@15: 0.65
L2P@30: 1.28
L2P@5: 0.23
L2Q@15: 0.42
L2Q@30: 0.69
L2Q@5: 0.17
NPSS@15: 0.0258
NPSS@30: 0.1328
NPSS@5: 0.002

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
鲁棒的运动插值 | 论文 | HyperAI超神经