一句话总结

OmniDirector 是一个统一框架，基于百万规模的相机网格 - 视频对进行训练，通过将相机编码为网格运动视频并利用新颖的分层提示扩展 agent 来协调角色、动作和相机，从而为多模态扩散 Transformers 提供导演级控制，且无需跨配对数据即可实现通用的多镜头相机克隆，大量实验证明了其卓越的性能和可控性。

核心贡献

• 论文提出了一种通用的相机运动表示，将相机编码为网格运动视频，以支持集成多样化的轨迹用于多镜头视频生成。
• OmniDirector 被提出为一个统一框架，在百万规模相机网格 - 视频对上训练，协调角色、动作和相机，为多模态扩散 Transformers 提供导演级控制。
• 设计了一种新颖的分层提示扩展 agent，通过理解信号关系系统地描述相机运动和视觉内容，从而和谐地整合不同的控制信号。大量实验证明了该框架卓越的性能和出色的可控性。

引言

相机运动对于塑造视频生成中的叙事深度至关重要，但实现精确控制仍然具有挑战性。现有的参数化方法无法处理多镜头过渡，在语义对齐方面存在困难，而依赖跨配对数据的隐式方法受限于数据稀缺和信息泄露。为解决这些问题，作者引入了 OmniDirector，这是一个为多模态扩散 Transformers 设计的统一框架。他们提出了一种相机网格表示，将相机参数编码为空 3D 场景中的运动视频，以将运动与内容解耦。这种方法使得在百万规模数据上训练成为可能，而无需跨配对样本。此外，他们设计了一个分层提示扩展 agent，以便在推理过程中无缝整合相机运动与主体及对象控制。

方法

作者提出了 OmniDirector，这是一个旨在通过将相机运动与场景内容解耦来实现通用多镜头相机克隆的框架。核心创新是相机网格表示，它将复杂的相机运动抽象为可与标准视频内容一起处理的视觉信号。

参考下方的框架图：

该方法始于相机网格渲染。为了模拟空间变换，作者将环境建模为仅包含 3D 网格线的空房间。具体而言，他们在 X-Z 平面上生成网格点代表地板和天花板，并构建垂直线段形成包围相机轨迹的管状边界结构。这产生了视觉隧道墙效果，清晰地呈现几何结构和运动路径。对于鱼眼畸变或推拉变焦等特殊效果，渲染方案使用特定光学模型进行修改，例如 Kannala–Brandt 模型，以重现特征视觉畸变。

在训练阶段，架构利用 3D 变分自编码器 (3D VAE) 对输入进行编码。参考图像 $I$I、相机网格 $G$G 和噪声视频潜在变量 $Z_v$Zv​ 被编码为潜在表示 $z_I$zI​、$z_c$zc​ 和 $z_v$zv​。这些模态沿帧维度连接形成统一时空表示 $z_{vis} = \text{Concat}(z_I, z_v, z_c)$zvis​=Concat(zI​,zv​,zc​)。该组合潜在变量随后被分块化为 token 序列 $Z_{vis}$Zvis​。同时，文本条件 $T'$T′ 通过文本编码器处理生成文本 tokens $Z_t$Zt​。模型利用多模态扩散 Transformer (MMDiT) 骨干，其中视觉和文本 tokens 通过联合注意力机制交互，允许文本语义调节视觉生成过程，同时保持视觉信号之间的对齐。为确保模型严格遵循相机网格几何，自重建目标被纳入 30% 的训练样本中。在这些情况下，目标视频被相机网格本身替换，迫使模型解析几何结构而不是依赖虚假相关性。

对于推理，系统采用分层提示扩展 Agent 以协调异构控制信号。首先，相机提示生成器分析过渡帧和相机姿态生成特定的相机运动描述 $T_c$Tc​。该描述随后与用户提示 $T_u$Tu​ 和参考图像 $I$I 通过语义融合模块融合，创建最终提示 $T_f$Tf​。该统一提示引导 OmniDirector 模型生成输出视频。此外，应用了自适应无分类器引导策略，其中视觉无条件输入设置为黑色背景，且文本提示包含完全静态的相机描述。也使用了由粗到细的去噪计划，在高噪声阶段注入相机网格特征，以便在细化局部细节之前建立全局结构。

实验

OmniDirector 在多样化的验证集上进行评估，以评估相机控制精度、镜头过渡一致性和内容泄露，对比最先进基线。对比结果表明，所提出的方法超越了现有方法，通过忠实克隆复杂轨迹并在多镜头场景中保持语义连贯性，且无显著内容泄露。消融实验和涌现能力测试进一步验证，设计选择增强了信号融合，并实现了无需重新训练即可泛化到原始视频等多样化输入信号。

作者将提出的方法 OmniDirector 与几个最先进基线进行评估，涵盖相机控制、过渡准确率和泄露率。结果表明，该方法始终优于竞争对手，在相机姿态估计和镜头过渡方面实现最高精度，同时最小化不需要的参考视频泄露。所提出的方法在相机精度指标上取得最佳性能，在所有对比方法中显示出最低的旋转和平移误差。OmniDirector 表现出优越的过渡准确率，具有最高的时间精度和语义精度，而基线方法缺乏对语义评估的支持。该方法显著降低了帧级和镜头级的泄露率，与其他从参考视频中表现出大量内容泄露的方法形成对比。

作者展示了成对比较，评估相机控制、视觉质量和叙事一致性，对比基线方法。结果表明在所有维度上性能优越，所提出的方法实现了高偏好率以及有利的结果比率，特别是在视觉质量和相机轨迹遵循方面。视觉质量获得了最高比例的好评或同等评级，对比基线。相机控制表现出最强的正负结果比率，在评估类别中。叙事一致性表现出稳健的性能，具有高一致率，尽管有利比率低于其他维度。

消融研究评估了语义融合、过渡提示工程和自适应 CFG 对 OmniDirector 模型整体性能的贡献。结果表明完整配置实现了优越的相机精度、过渡精度和最小内容泄露，对比移除单个组件。具体而言，缺乏镜头间建模严重影响过渡期间的语义一致性，而移除自适应引导降低了相机运动保真度。完整模型配置产生最佳相机精度和所有设置下的最低泄露率。排除过渡提示工程导致镜头过渡的语义精度显著下降。语义融合对于减少参考视频泄露并保持准确的相机姿态估计至关重要。

作者将 OmniDirector 与领先基线进行评估，使用定量指标和人工成对比较，以评估相机控制、过渡准确率、视觉质量和叙事一致性。对比结果表明所提出的方法始终优于竞争对手，通过在相机姿态估计和镜头过渡方面实现优越精度，同时显著最小化参考视频泄露。此外，消融研究证实完整模型配置对于保持语义一致性和相机运动保真度至关重要，因为移除单个组件会导致显著的性能下降。