一句话总结

作者介绍了 RUBRICEM，这是一个基于准则的强化学习框架，结合了分阶段策略分解与基于反思的元策略训练，以优化深度研究 agents，超越可验证奖励。该框架采用分阶段结构 GRPO 以获得更密集的语义反馈，并将判定的轨迹蒸馏为可重用的指导，使 RUBRICEM-8B 在四个代表性长格式研究基准上取得强劲表现，同时优于可比开源模型并接近专有深度研究系统。

核心贡献

• 本工作介绍了 RUBRICEM，这是一个基于准则的强化学习框架，使用准则作为共享接口来结构化策略执行、评判反馈和 agent 内存。该方法通过使规划、证据收集、审查和综合基于自生成准则的条件化，使研究轨迹具有阶段感知能力。
• 信用分配依赖于分阶段结构 GRPO，该算法利用分阶段准则评判为长视野优化提供更密集的语义反馈。共享骨干的反思元策略异步运行，将判定的轨迹蒸馏为可重用的基于准则的指导，而不会施加顺序瓶颈。
• 实验表明，RUBRICEM-8B 在四个代表性长格式研究基准上取得强劲表现。由此产生的系统在这些评估中优于可比开源模型，并接近专有深度研究系统。

引言

训练深度研究 agents 需要超越可验证奖励，因为其长格式输出缺乏真实答案，且标准后训练提供的可重用经验很少。先前的方法依赖于可验证的搜索代理或模仿数据，在处理开放式研究轨迹的粗略和延迟反馈方面存在空白。本文介绍了 RUBRICEM，这是一个将准则视为结构化策略执行和 agent 内存共享接口的框架。该系统结合了分阶段策略分解与基于反思的元策略训练，以提供更密集的语义反馈，并从判定的轨迹中蒸馏可重用的指导。

数据集

• 数据集构成与来源

  • 作者构建了一个包含约 11,000 个样本的监督微调数据集。
  • 数据源自由 Gemini 教师模型生成的 agent 轨迹，并针对 Qwen3 进行了适配。
  • 由于严格的过滤，最终体积比 DR Tulu 基线小约 2,000 个样本。

• 过滤与拒绝规则

  • 缺少闭合 </answer> 标签的轨迹被丢弃为硬拒绝。
  • 移除非最终轮次中缺少有效工具调用的样本，以防止依赖内部知识。
  • 排除缺少所需 XML 结构（如 <structured_plan> 或 <state_evaluation>）的数据。
  • 任何具有两个或更多连续工具错误的轨迹均被拒绝，以确保可靠性。

• 处理与训练格式

  • 推理标签从 <scratchpad> 转换为 <think> 以符合模板兼容性。
  • 工具名称被标准化为规范标识符，如 google_search。
  • 每个样本格式化为单轮 ChatML 对话，包含系统、用户和助手消息。
  • 训练期间对工具输出 token 进行掩码，以便模型不记忆搜索结果。

• 评估基准

  • 在四个长格式数据集上衡量性能，包括 HealthBench 和 ResearchQA。
  • 这些基准包含 100 到 1,000 个问题，涵盖医学和科学研究领域。

方法

RubricEM 框架通过将准则视为 agent 规划、执行和学习阶段的共享接口来运行。如框架图所示，该系统集成了三个核心组件：用于任务策略的基于准则的结构化轨迹、用于信用分配的分阶段结构强化学习算法，以及用于经验重用的反思元策略。

结构化推理支架

为了管理长视野研究任务，作者在 agent 轨迹上施加了显式的阶段结构。该支架将生成过程分解为四个语义不同的阶段：Plan、Research、Review 和 Answer。每个阶段都由 XML 标签标记，并受特定行为要求管辖。在规划阶段，agent 生成特定于任务的准则，定义成功标准，包括知识清单和负向约束。这些准则随后指导后续的研究和综合阶段。详细工作流展示了 agent 如何分析需求、定义评分标准，并在执行工具调用之前规划搜索。

此结构允许策略根据当前阶段条件化其决策，避免扁平自回归过程中发生的决策模式混叠。一个具体示例展示了关于睡眠模式的查询如何被分解为这些阶段，并在规划期间生成特定准则以指导研究和审查步骤。

分阶段结构 GRPO 与元策略训练

标准强化学习方法通常向所有 token 广播单个终端奖励，这对于长视野任务效率低下。RubricEM 采用分阶段结构 GRPO (SS-GRPO) 以提供更细粒度的信用分配。LLM 评判器不使用单个分数，而是针对特定阶段准则评估每个阶段（Plan、Research、Review、Answer）。这些分阶段分数使用因果阶段依赖矩阵组合，以计算考虑下游影响的回报。训练管道可视化了任务展开如何被评判以生成判别性准则，随后用于对轨迹评分并更新策略。

除了优化任务策略外，该框架还显式训练反思元策略以重用经验。任务策略和反思元策略共享相同的骨干。在任务展开被评判后，骨干采样基于准则的反思候选项。单独的评判器根据其用于回合内细化和跨回合转移的效用对这些候选项评分。得分最高的反思被存储在准则库中，作为未来查询的自然语言内存。为了确保效率，系统使用异步执行管道，其中反思生成和训练与任务展开并行运行，避免顺序瓶颈。基础设施图突出了这种异步设计，显示了训练引擎如何消耗延迟的反思批次，而推理引擎生成新的展开。

实验

评估在四个代表性长格式基准上对 RUBRICEM 进行了测试，使用了源自 DR Tulu 的基础设施。结果表明，所提出的强化学习配方显著提高了监督微调的性能，优于强大的开源基线，同时与专有系统保持竞争力。消融研究验证了分阶段信用分配和结构化支架贡献了互补的收益，而推理时的经验重用仅在具有学习到的元策略时证明有效。此外，该模型表现出对短格式任务的强大泛化能力，证实训练教授了可迁移的工具使用和证据基础技能，而不仅仅是长格式报告写作。

下表比较了提出的 RUBRICEM 模型与 DR Tulu 基线之间的短格式搜索性能。RUBRICEM 在所有基准上均表现出一致的改进，RL 微调版本取得了最佳整体结果。RUBRICEM-8B (RL) 取得了最高平均分，超过了 DR Tulu-8B (RL) 等强大的开源基线。尽管主要是在长格式深度研究数据上训练，该模型仍有效地泛化到短格式任务。与 DR Tulu 基线相比，RUBRICEM 使用更少的 RL 训练步骤达到了优越的性能。

作者在多个基准上评估了 RUBRICEM 与专有和开源深度研究模型。结果表明，RUBRICEM-8B-RL 在非专有系统中取得了最高性能，超过了 DR Tulu 和 Tongyi DeepResearch 等强大的开源基线。此外，该模型展示了与顶级专有系统竞争的能力，特别是在 DRB 基准上优于它们。RUBRICEM-8B-RL 在评估的非专有深度研究系统中取得了最高平均性能。强化学习阶段比监督微调基线产生了显著的性能提升。该模型在 DRB 基准上优于 OpenAI Deep Research，同时在整体上与其他封闭模型保持竞争力。

作者评估了 RUBRICEM 与开源和专有深度研究模型，以验证其在短格式搜索和深度研究基准上的性能。结果表明，RL 微调版本有效地从长格式训练数据中泛化，在非专有系统中取得了顶级性能。此外，该模型超过了强大的开源基线，并与顶级专有系统保持竞争力，同时需要更少的强化学习训练步骤。