HyperAIHyperAI

Command Palette

Search for a command to run...

基于Transformer的单次动作补全

Yinglin Duan Tianyang Shi Zhengxia Zou Yenan Lin Zhehui Qian Bohan Zhang Yi Yuan

摘要

运动补全是一个长期受到关注且极具挑战性的问题,在影视与游戏应用中具有重要意义。针对不同的运动补全场景(如帧间插值、帧内填充和运动融合),以往大多数方法均采用针对具体场景的定制化设计。在本工作中,我们提出一种简洁而高效的方法,在统一框架下解决多种运动补全问题,并在多种评估设置下实现了新的最先进精度。受近期基于注意力机制模型取得巨大成功的启发,我们将运动补全问题建模为序列到序列的预测任务。所提出的方法由两个核心模块构成:一是采用自注意力机制的标准Transformer编码器,用于捕捉输入运动序列中的长距离依赖关系;二是可学习的混合嵌入模块,用于建模时间信息并区分关键帧。该方法能够以非自回归方式运行,仅需一次前向传播即可实时预测多个缺失帧。最后,我们在音乐-舞蹈应用中验证了该方法的有效性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于Transformer的单次动作补全 | 论文 | HyperAI超神经