摘要

追求可控性作为视觉内容生成的更高标准，已在可定制图像合成领域取得了显著进展。然而，由于时间动态变化的多样性以及跨帧时间一致性要求的严格性，实现可控视频合成仍面临巨大挑战。基于组合生成（compositional generation）的范式，本文提出 VideoComposer，使用户能够灵活地通过文本条件、空间条件，尤其是时间条件来组合生成视频。具体而言，针对视频数据的特性，我们引入压缩视频中的运动矢量（motion vector）作为显式的控制信号，以引导时间动态过程。此外，我们设计了一种时空条件编码器（Spatio-Temporal Condition Encoder, STC-encoder），作为统一接口，有效整合序列输入中的时空关系，使模型能够更充分地利用时间条件，从而显著提升帧间一致性。大量实验结果表明，VideoComposer能够在合成视频中同时控制空间与时间模式，支持多种输入形式，包括文本描述、草图序列、参考视频，甚至仅通过手工设计的运动轨迹即可实现精准控制。相关代码与模型将公开发布于 https://videocomposer.github.io。