一句话总结

InterleaveThinker 是首个多 agent 流水线，旨在通过采用 planner agent 组织图像 - 文本输入序列以及采用 critic agent 评估输出并修正指令，赋予任何现有图像生成器交错生成能力，使用 Interleave-Planner-SFT-80k 和 Interleave-Critic-SFT-112k 进行格式冷启动，并使用 Interleave-Critic-RL-13k 配合 GRPO 来强化视觉叙事和具身操作的逐步指令修正。

核心贡献

• 本文介绍了 InterleaveThinker，这是一个多 agent 流水线，旨在赋予现有图像生成器交错生成能力。该系统采用 planner agent 组织图像 - 文本序列，并采用 critic agent 评估输出并修正指令以进行重新生成。
• 该工作构建了 Interleave-Planner-SFT-80k 和 Interleave-Critic-SFT-112k 数据集，以对流线进行格式冷启动。此外，开发了 Interleave-Critic-RL-13k，利用 GRPO 强化生成轨迹内的逐步指令修正。
• 实验表明，该流水线实现了与专有模型相当的性能，同时在交错生成基准测试上超越了现有的开源统一多模态模型。该框架还显著增强了基础模型在推理基准测试上的表现，WISE 分数从 0.47 提升至 0.73，RISE 分数从 13.3 跃升至 28.9。

引言

当前的图像生成器擅长单图像合成，但缺乏视觉叙事和具身操作所需的交错文本 - 图像序列的原生支持。虽然统一多模态模型尝试实现这一点，但它们在长视野任务中 suffers 视觉过度依赖和逐步误差累积。为了解决这个问题，作者介绍了 InterleaveThinker，这是一个多 agent 流水线，它赋予现有图像生成器强大的交错生成能力。其采用 Planner agent 预先规划完整序列，并采用 Critic agent 利用专用数据集和双奖励强化学习策略评估并修正步骤，以实现高效的轨迹引导。这种方法消除了视觉过度依赖，并在生成和推理基准测试上显著优于开源 UMMs。

数据集

数据集组成与来源

• 作者构建了一个专用流水线，以生成对齐的交错指令、视觉状态和评论器判断对。
• 他们利用 Gemini 2.5 Pro 策划了约 40,000 个多样化的文本提示，涵盖 8 个主要类别和 75 个子类别。
• 创建了多 agent 轨迹，其中 Planner 生成指令，Image Generator 使用 Nano Banana Pro 或 FLUX.2-klein-9B 执行指令。
• Critic agent 评估每个步骤，如果生成的图像偏离指令，则修正提示词。

每个子集的关键细节

• 评论器数据集： 该过程产生了用于监督微调的 Interleave-Critic-SFT-112k 和用于强化学习的 Interleave-Critic-RL-13k。
• 规划器数据集： Interleave-Planner-SFT-80k 结合了自合成序列和外部开源交错数据。
• 过滤规则： 过滤移除了逻辑不一致或视觉质量差的样本，但仅应用于评论器训练数据。

论文如何使用数据

• 轨迹分解： 完整轨迹被分解为独立的逐步数据，以实现单迭代优化。
• 基于分数的拆分： 改进的 VIEScore 系统为语义对齐和视觉质量分配 0 到 10 的分数。
• 数据划分： 高分差的步骤被分配到 RL 子集，而稳定的高质量步骤被分配到 SFT 子集。
• 混合比例： 作者保持 SFT 和 RL 子集之间经验性的 2:1 样本比例。
• 分布平衡： 迭代数据被重采样以平衡二元判断分布并防止有偏估计。

处理和构建细节

• 输入截断： 多模态输入通过将文本计划与最终图像输出交错并随机截断序列来合成。
• 提示词约束： 系统提示词强制执行规则，例如禁止在指令字段中使用步骤前缀，并要求特定的输出结构。
• 评估标准： 评论器评估侧重于意图匹配，通过比较原始 AI 生成的图像与编辑版本。

方法

为了解决统一多模态模型 (UMMs) 中固有的视觉过度依赖和逐步误差累积挑战，作者提出了 InterleaveThinker。该框架引入了一个解耦的多 agent 架构，赋予冻结的图像生成器强大的交错生成能力。该系统旨在处理需要在文本和图像生成之间交替的复杂任务，而不会在长视野上降低质量。

参考下图以了解 InterleaveThinker 旨在解决的具体问题，例如现有模型中的输出限制和视觉过度依赖。

InterleaveThinker 框架的核心是一个渐进式、闭环流水线，包含三个不同的模块：Planner、Generator 和 Critic。该架构将复杂的交错生成任务分解为可管理的逐步执行，同时结合自修正机制以确保高保真输出。整体工作流程如下面的框架图所示。

该过程始于 Planner 模块。给定输入序列 $S$S，Planner 分析用户请求并将其转化为 $N$N 步执行计划。对于每个步骤 $i \in \{1, \ldots, N\}$i∈{1,…,N}，Planner 生成步骤指令 $u_i$ui​，源自 $u_i$ui​ 的模型友好型初始提示词 $p_i$pi​，以及提供必要知识阐述的辅助文本 $a_i$ai​。此规划过程公式化为：

$$\begin{array} { r } { \left\{ \left( u _ { i } , p _ { i } , a _ { i } \right) \right\} _ { i = 1 } ^ { N } = \mathrm { P l a n n e r } ( S ) . } \end{array}$${(ui​,pi​,ai​)}i=1N​=Planner(S).​

接下来，Generator 模块执行计划。在步骤 $i$i 和修正迭代 $t \in \{1, T_{max}\}$t∈{1,Tmax​}，Generator 获取当前修正后的提示词 $r_i^t$rit​（其中 $r_i^0 = p_i$ri0​=pi​）和上一步的图像 $I_{i-1}$Ii−1​ 以生成当前图像 $I_i^t$Iit​。对于初始步骤，$I_0$I0​ 定义为空白画布。生成方程为：

$$I _ { i } ^ { t } = \mathrm { G e n e r a t o r } \left( r _ { i } ^ { t } , I _ { i - 1 } \right) .$$Iit​=Generator(rit​,Ii−1​).

为了确保与预期指令的严格对齐，Critic 模块提供量化反馈和提示词优化。Critic 评估从执行前图像 $I_{i-1}$Ii−1​ 到执行后图像 $I_i^t$Iit​ 的转换。它输出二元判断 $j_i^t$jit​，新修正的提示词 $r_i^{t+1}$rit+1​，以及推理过程 $R_i^t$Rit​：

$$\left( j _ { i } ^ { t } , r _ { i } ^ { t + 1 } , R _ { i } ^ { t } \right) = \mathrm { C r i t i c } \left( I _ { i - 1 } , I _ { i } ^ { t } , p _ { i } , r _ { i } ^ { t } \right) .$$(jit​,rit+1​,Rit​)=Critic(Ii−1​,Iit​,pi​,rit​).

此生成 - 评估循环迭代直到获得正面判断或达到最大迭代次数。下图展示了此工作流程的详细示例，可视化了青蛙从卵到成熟生物体的生命周期。

为了支持这些 agent 的训练，作者构建了一个专用数据流水线。该流水线涉及跨不同类别的文本提示词构建、多 agent 轨迹生成和评论器数据过滤。该过程产生了专门针对交错生成任务的高质量数据集。数据构建和拆分策略在下图中详细说明。

训练方案遵循两阶段流水线。首先，对 Planner 和 Critic 应用监督微调 (SFT) 以建立多 agent 格式冷启动。Planner 在 Interleave-Planner-SFT-80k 数据集上训练，而 Critic 在 Interleave-Critic-SFT-112k 上训练。在 SFT 之后，作者采用强化学习 (RL) 并使用 GRPO 算法强化 Critic 的修正能力。为了处理长轨迹的计算成本，他们提出了双奖励策略。该策略利用准确性奖励 ($R_{acc}$Racc​) 来衡量判断的正确性，并利用逐步奖励 ($R_{step}$Rstep​) 来评估提示词修正的有效性。最终奖励 $R$R 是加权组合：

$$R = 0 . 5 * R _ { f o r m a t } + 0 . 5 * ( \alpha R _ { a c c } + ( 1 - \alpha ) R _ { s t e p } )$$R=0.5∗Rformat​+0.5∗(αRacc​+(1−α)Rstep​)

该框架的有效性在多个领域得到证明，包括视觉叙事、引导、世界交互和机器人操作。下图展示了系统为角色战斗、文本渲染和物体操作等任务生成连贯序列的能力。

实验

评估使用领域内评估模型和泛化能力模型对 InterleaveThinker 框架在交错生成和推理任务上进行了评估。结果表明，多 agent 流水线通过减轻视觉过度依赖和逐步误差累积同时保持高文本保真度，显著优于现有方法。进一步的消融实验证实了不同规划器和评论器角色以及组合奖励对于确保有效修正的必要性，尽管该系统无法纠正来自未知生成器概念的错误。

作者在 CoMM 基准测试上评估了 InterleaveThinker 框架，将其性能与几个现有的开源模型进行了比较。结果表明，将 InterleaveThinker 与不同的图像生成器集成始终在风格、实体一致性、趋势对齐、完整性和图像质量指标上优于基线模型。该框架在文本 - 图像对齐方面特别有效，与竞争对手相比在该类别中获得了最高分数，同时也显示了在不同基础模型上的泛化性。InterleaveThinker 在 CoMM 基准测试的所有评估指标上显著超越了现有的开源模型。该框架显示出强大的泛化性，当与 Qwen-Image-Edit 模型集成时实现了进一步的性能提升。与基线方法相比，所提出方法的文本 - 图像对齐分数明显更高。

作者在基于推理的基准测试上评估了他们的 InterleaveThinker 框架，以评估跨不同知识领域的图像生成能力。结果表明，将该框架与基础模型集成导致所有测试类别的性能大幅提升。这些增强模型在开源方法中获得了最高分数，超越了之前的最先进基线。InterleaveThinker 显著提升了基础模型在所有知识类别中的性能，包括生物学、物理学和化学。该框架是模型无关的，当应用于不同的基础架构如 FLUX.2-klein-9B 和 Qwen-Image-Edit-2511 时显示出一致的改进。所提出的方法在开源模型中实现了最佳整体性能，超越了 BAGEL 等强大的基线。

作者在 UEval 基准测试上评估了他们的 InterleaveThinker 框架，将其与参考、专有和开源模型进行了比较。结果表明，他们的多 agent 流水线显著优于现有的开源模型，并实现了与领先的专有模型相当的性能。所提出的 InterleaveThinker 框架在所有类别中显著优于现有的开源模型。该方法取得了与专有前沿模型具有竞争力的结果，特别是在教科书和图表任务方面表现出色。将框架与 Qwen-Image-Edit 模型集成比使用 FLUX.2-klein-9B 生成器产生了更好的整体性能。

作者在推理基准测试上评估了 InterleaveThinker 框架，将其与专有和开源基线进行了比较。结果表明，将 InterleaveThinker 与 FLUX.2-klein-9B 和 Qwen-Image-Edit-2511 等基础模型集成导致时间、因果、空间和逻辑推理类别的性能大幅提升。虽然顶级专有模型仍然更优，但增强的开源模型取得了具有竞争力的结果，超越了几个现有的基线。与原始开源模型相比，将 InterleaveThinker 与基础模型集成在所有推理类别中产生了显著的性能提升。增强的 Qwen-Image-Edit-2511 模型取得了具有竞争力的结果，在整体性能上超越了 GPT-Image-1 等特定专有基线。该框架显示出强大的泛化性，有效地提升了不同底层架构在空间和因果推理任务上的能力。

该表使用 FLUX.2-klein-9B 图像生成器在 UEval 基准测试上呈现了消融实验，以验证 InterleaveThinker 框架。结果表明，原始生成器在交错任务上失败，而多 agent 流水线显著提升了性能，特别是通过 Planner-SFT 阶段大幅提高了文本分数。最佳结果是在 Full-RL 配置下实现的，该配置优于单 agent 基线和未过滤数据变体，同时增加修正迭代次数始终提高了输出质量。单独的原始图像生成器无法生成交错文本，而多 agent 基线成功启用了文本生成能力。微调 Planner 导致文本分数大幅提升，完整的 RL 配置通过优化文本和图像质量实现了最佳整体性能。分离规划器和评论器角色证明优于统一单 agent 方法，增加最大修正迭代次数持续提升性能。

InterleaveThinker 框架在 CoMM 和 UEval 等多样基准测试上进行了评估，以评估与开源和专有基线相比的图像生成和推理能力。实验表明，将该框架与基础模型集成在文本 - 图像对齐和逻辑推理等领域始终优于现有的开源方法，同时与专有系统保持竞争力。此外，消融实验证实，多 agent 流水线和特定配置如 Full-RL 对于启用交错任务和最大化与原始生成器相比的输出质量至关重要。