摘要

生成高动态视频，如动作丰富或视觉效果复杂的视频，在人工智能领域仍面临重大挑战。目前最先进的视频生成方法主要聚焦于文本到视频的生成任务，尽管在画面保真度方面表现良好，但生成的视频片段往往运动幅度极小，缺乏动态表现力。我们认为，仅依赖文本指令进行视频生成是不充分且低效的。本文提出一种名为PixelDance的新方法，该方法基于扩散模型，创新性地结合图像指令（用于视频的第一帧和最后一帧）与文本指令，共同指导视频生成过程。大量实验结果表明，PixelDance在使用公开数据训练后，显著提升了对复杂场景与精细运动的视频合成能力，为视频生成技术树立了新的基准。