摘要

手势合成是人机交互领域的一个重要分支，在电影、机器人技术和虚拟现实等多个领域有着广泛的应用。近年来，研究人员利用扩散模型和注意力机制来改进手势合成技术。然而，由于这些技术的计算复杂度较高，生成长且多样的序列时仍面临低延迟的挑战。我们探讨了状态空间模型（SSMs）在解决这一问题上的潜力，采用了一种两阶段建模策略，并引入离散运动先验以提高手势的质量。基于Mamba模块，我们提出了MambaTalk，通过多模态融合增强了手势的多样性和节奏感。大量实验表明，我们的方法在性能上达到了或超过了现有最先进模型的水平。