一句话总结

AllSpark Team 提出 Iris-mini 和 Iris-pro，分别为 $35\text{B-A}3\text{B}$35B-A3B 和 $397\text{B-A}17\text{B}$397B-A17B 规模的搜索 Agent，通过反向构建的多跳问题流水线并配合轨迹级与判断级过滤进行训练，随后在实时搜索环境中交替进行 SFT 与 RL（SFT–RL 爬升），在 BrowseComp、BrowseComp-ZH、DeepSearchQA 和 Humanity’s Last Exam 上分别达到 $82.2/84.8/86.9/52.3$82.2/84.8/86.9/52.3 和 $88.6/85.1/92.9/56.4$88.6/85.1/92.9/56.4，在启用上下文管理的情况下，是各自参数范围内最强的开源结果。

核心贡献

• 提出 Iris-mini 和 Iris-pro 两个搜索 Agent，分别在 35B-A3B 和 397B-A17B 规模上训练，其数据流水线从网页超链接结构反向构建多跳问题，将答案实体改写为描述性指代以阻断字符串匹配，并且只保留参考模型在闭卷模式下无法回答但提供证据后能够解决的问题。
• 在监督微调之前结合轨迹级与回合级过滤，随后在实时搜索环境中使用集群内评判模型和观测摘要器进行强化学习，并以 SFT–RL 爬升的方式交替进行 SFT 和 RL，将最难解决且最高效的 rollout 反馈到下一轮监督训练中。
• 在启用上下文管理的情况下，在 BrowseComp、BrowseComp-ZH、DeepSearchQA 和 Humanity’s Last Exam 上达到 82.2/84.8/86.9/52.3 和 88.6/85.1/92.9/56.4，是各自参数范围内开源搜索 Agent 中综合表现最强的结果，并报告了搜索训练模型向通用工具使用和 cowork 基准的正向迁移。

引言

搜索 Agent 通过支持与外部工具和动态环境的交互，将语言模型扩展到封闭式推理之外，这要求模型决定搜索什么、如何解释证据以及何时停止。这与传统语言模型评估不同，后者中任务和计算预算固定，而构建可靠的 Agent 需要更强的模型、更好的训练数据以及长程交互策略。已有工作通过工具使用、基于检索的强化学习和合成任务构建取得了进展，但性能差异往往更多来自推理时 harness 的不同而非底层策略本身，尤其是在上下文管理（CM）方面。长程搜索可能耗尽上下文窗口，压缩有效预算，而现有的解决方案如轨迹摘要或历史移除则掩盖了性能究竟来自策略还是 harness，这使得 CM 成为一个关键但鲜有充分报告的因素。

作者提出了一套涵盖数据构建、训练和评估的端到端搜索 Agent 方案。他们从网页图结构构建多跳任务，移除容易被直接搜索到的锚点，只保留困难且可客观验证的问题。他们从强教师模型收集轨迹，进行轨迹级和回合级过滤，然后通过实时搜索环境中的强化学习优化策略，使用集群内评判模型和观测摘要器，并迭代交替 SFT 和 RL 以强化成功行为。其主要贡献是一条完整流水线，结合了过滤后的 SFT、实时网页搜索 RL 和迭代爬升，并在启用和不启用 CM 两种推理设置下进行评估，在 BrowseComp、BrowseComp-ZH、DeepSearchQA 和 Humanity’s Last Exam 等基准上取得了开源 Agent 中的最佳综合表现。他们还计划发布模型权重和流水线组件，以促进复现和进一步研究。

数据集

数据集构成与来源

作者使用完全由 LLM 驱动的流水线构建搜索 Agent 的训练数据集，该流水线从网页语料的超链接结构反向构建问题。目标是生成（i）无法仅靠参数记忆回答的问题，以及（ii）需要综合多个来源证据的问题。流水线分为三个阶段：网页图构建、任务合成和双标准验证。最终数据集还包含部分内部和开源问题集（引用为 [6, 28, 2, 25]）。

网页图构建

• 语料被建模为有向图，节点为页面，边为超链接。
• 每个合成实例从种子页面开始，使用答案锚定模式采样：作者固定一个目标答案实体并检索描述该实体的页面。
• 种子页面沿其出链扩展为局部子图，保留截断到固定预算的完整页面文本。
• 为恢复真实的出链集合，作者合并两个来源：语料的结构化语义镜像（RDF 三元组）和渲染后的页面标记。这种合并能最大化链接召回率，因为阅读器服务会剥离内联锚点。

任务合成

给定子图后，流水线通过三步生成单个模糊化的多跳问题：

1. 实体图提取：将原始页面蒸馏为紧凑且连通的实体图（最多包含 n 个节点），其中包含显著实体和带类型的语义关系。提取器只保留位于通向种子主题的多跳路径上的实体和关系，形成用于问题创作的密集关系骨架。
2. 多跳问题生成：使用种子主题（目标答案）生成带有推理路径的初始问题。路径必须包含至少 N 个耦合关系，且答案不允许出现在问题文本中。
3. 锚点抽象：每个非答案实体都被改写为唯一标识该实体但移除其名称和别名的描述性指代。这迫使最终问题需要基于推理的消歧而非字符串匹配。

双标准验证

• 一对（抽象化问题，答案）只有在参考模型判断其通过两个标准时才被接受：
  • 难度：参考模型在无工具的闭卷模式下无法正确回答问题。
  • 可解性：参考模型在给定实体图作为上下文的情况下能够正确回答问题。
• 答案等价性由语义匹配评判模型决定。被接受的集合包含抽象化的多跳问题，每个问题都配有经过验证的唯一答案。

在模型中的使用

被接受的数据集连同内部和开源问题集一起用于轨迹生成。论文在提供的文本中未指定训练划分或混合比例，但该数据集旨在训练搜索 Agent 处理困难且可解决的多跳问题，这些问题需要跨来源综合证据。

方法

作者通过完全由 LLM 驱动的数据流水线训练网页搜索 Agent，该流水线从网页语料的超链接结构反向构建多跳问题，随后进行监督微调和强化学习的迭代循环。整体方法由两个主要部分组成：生成困难且可解决的训练问题的数据流水线，以及将这些问题转化为可靠搜索行为的训练方案。

数据流水线

数据流水线分为三个阶段：网页图构建、任务合成和双标准验证。

网页图构建。 作者将语料建模为有向图，节点为页面，边为超链接：

$$G = (V, E), \quad \operatorname{Out}(v) = \big\{u \in V \mid (v, u) \in E\big\}.$$G=(V,E),Out(v)={u∈V∣(v,u)∈E}.

每个合成实例从由采样策略 $v_0 \sim P_{\mathrm{seed}}(V)$v0​∼Pseed​(V) 抽取的种子页面开始，他们使用答案锚定模式，固定目标答案实体并检索描述该实体的页面。种子随后沿其出链扩展为局部子图：

$$G_{\mathrm{sub}} = \big(\{v_0\} \cup N, E_{\mathrm{sub}}\big), \qquad N = \{v_i\}_{i=1}^{k} \subseteq \operatorname{Out}(v_0),$$Gsub​=({v0​}∪N,Esub​),N={vi​}i=1k​⊆Out(v0​),

保留每个页面的完整文本并截断到固定预算。由于渲染页面的阅读器服务会剥离内联锚点，作者从语料的结构化语义镜像（RDF 三元组）以及渲染后的页面标记中恢复 $v$v 的真实出链集合，合并两个来源以最大化链接召回率。

任务合成。 给定子图 $G_{\mathrm{sub}}$Gsub​，该阶段通过三步生成单个模糊化的多跳问题：将页面蒸馏为实体图、在该图上创作问题、并抽象掉所有可直接搜索的锚点。

首先，作者将 $G_{\mathrm{sub}}$Gsub​ 蒸馏为紧凑且连通的实体图：

$$G_e = (V_e, R_e) = f_{\mathrm{ext}}(G_{\mathrm{sub}}), \qquad |V_e| \leq n,$$Ge​=(Ve​,Re​)=fext​(Gsub​),∣Ve​∣≤n,

其中 $V_e$Ve​ 为显著实体，$R_e$Re​ 为保留 $G_{\mathrm{sub}}$Gsub​ 跨页链接结构的带类型语义关系。提取器只保留位于通向种子主题的多跳路径上的实体和关系，形成可在其上精确创作问题的密集关系骨架。

设 $y = \mathrm{theme}(v_0)$y=theme(v0​) 为种子主题，作为目标答案。作者在实体图上生成初始问题及其推理路径：

$$(q_0, P) = f_{\mathrm{gen}}(G_e, y) \quad \text{s.t.} \quad |P| \geq N \land y \notin q_0,$$(q0​,P)=fgen​(Ge​,y)s.t.∣P∣≥N∧y∈/q0​,

其中 $P = (e_1 \xrightarrow{r_1} e_2 \xrightarrow{r_2} \cdots y)$P=(e1​r1​​e2​r2​​⋯y) 是 $G_e$Ge​ 中的一条路径，其遍历唯一地得到 $y$y。硬约束 $|P| \geq N$∣P∣≥N 迫使问题至少依赖 $N$N 个耦合关系。

具体锚点允许 Agent 通过直接搜索表面字符串绕过预期推理。作者通过抽象算子 $\mathcal{A}$A 移除这一捷径，将每个非答案实体改写为描述性指代：

$$\mathcal{A}(e): \quad \mathrm{name}(e), \mathrm{alias}(e) \notin \mathcal{A}(e) \land \mathcal{A}(e) \text{ uniquely identifies } e, \quad \forall e \in V_e \setminus \{y\}.$$A(e):name(e),alias(e)∈/A(e)∧A(e) uniquely identifies e,∀e∈Ve​∖{y}.

初始问题随后被改写为其抽象化形式：

$$\tilde{q} = f_{\mathrm{abs}}(q_0, \mathcal{A}),$$q~​=fabs​(q0​,A),

将每个提及的实体 $e$e 替换为 $\mathcal{A}(e)$A(e)，同时保留推理结构和答案 $y$y。得到的 $\tilde{q}$q~​ 要求基于推理的消歧而非字符串匹配。

双标准验证。 作者只接受同时满足困难且可解决这两个条件的 $(\tilde{q}, y)$(q~​,y) 对，由参考模型 $M_{\mathrm{ref}}$Mref​ 在两种设置下判断：

$$c_{\mathrm{diff}}(\tilde{q}) = \mathbb{I}\big[M_{\mathrm{ref}}(\tilde{q}) \neq y\big], \qquad c_{\mathrm{solv}}(\tilde{q}) = \mathbb{I}\big[M_{\mathrm{ref}}(\tilde{q} \mid G_e) = y\big],$$cdiff​(q~​)=I[Mref​(q~​)=y],csolv​(q~​)=I[Mref​(q~​∣Ge​)=y],

并且只保留交集：

$$\mathcal{D} = \big\{(\tilde{q}, y) \mid c_{\mathrm{diff}}(\tilde{q}) \cdot c_{\mathrm{solv}}(\tilde{q}) = 1\big\}.$$D={(q~​,y)∣cdiff​(q~​)⋅csolv​(q~​)=1}.

难度标准在无工具的闭卷模式下评估，丢弃模型已能从记忆中回答的简单问题。可解性标准在提供 $G_e$Ge​ 作为上下文的情况下评估，丢弃答案错误或非唯一的问题。答案等价性由语义匹配评判模型决定。被接受的抽象化多跳问题集合 $\mathcal{D}$D（每个问题配有验证过的唯一答案）随后用于轨迹生成。

训练方案

作者通过监督微调（SFT）和强化学习（RL）的迭代循环训练搜索 Agent。

监督微调。 强教师模型 $M_T$MT​ 被提示在 ReAct 范式下解决 $\mathcal{D}$D 中的每个问题 $q$q，在实时搜索工具中交替进行推理、工具调用和观测。轨迹是推理步骤、工具调用和观测的序列，以最终答案结束：

$$\tau = \left(r_1, a_1, o_1, \dots, r_T, a_T, o_T, r_{T+1}, \hat{y}\right) \sim \pi_{M_T}(\cdot \mid q, \mathcal{T}),$$τ=(r1​,a1​,o1​,…,rT​,aT​,oT​,rT+1​,y^​)∼πMT​​(⋅∣q,T),

其中 $r_t$rt​ 是第 $t$t 步的推理，$a_t \in \mathcal{T}$at​∈T 是来自工具集 $\mathcal{T} = \{\mathrm{SEARCH}, \mathrm{SCRAPE}\}$T={SEARCH,SCRAPE} 的工具调用，$o_t$ot​ 是返回的观测，$\hat{y}$y^​ 是最终答案。每个观测是实时生成的文档级摘要而非原始页面，使轨迹保持在有限的上下文预算内。

设 $\mathcal{D}_{\mathrm{raw}} = \{(q, \tau)\}$Draw​={(q,τ)} 为收集的轨迹池。每个样本必须通过轨迹级阶段，该阶段仅当 $\tau$τ 正确、非退化且非平凡时才接受。正确性是一个两部分门控：rollout 必须成功终止，且其答案必须由 LLM 评判模型 $J$J 对照参考答案 $y^*$y∗ 判断为正确：

$$c_{\mathrm{corr}}(q, \tau) = \mathbb{I}[\mathrm{success}(\tau)] \cdot \mathbb{I}[J(q, \hat{y}_\tau, y^*) = \mathrm{CORRECT}].$$ccorr​(q,τ)=I[success(τ)]⋅I[J(q,y^​τ​,y∗)=CORRECT].

作者随后移除退化轨迹：重复循环、失控工具调用、未终止的思考块以及其他病态情况。主要检测器是滑动窗口压缩比，在解码文本上以 $O(n)$O(n) 时间计算：

$$\rho_{\mathrm{cr}}(w) = \frac{|w|}{\left|\mathrm{zlib}(w)\right|}, \quad c_{\mathrm{degen}}(\tau) = \mathbb{I}\left[\max_w \rho_{\mathrm{cr}}(w) \geq \tau_{\mathrm{cr}}\right].$$ρcr​(w)=∣zlib(w)∣∣w∣​,cdegen​(τ)=I[wmax​ρcr​(w)≥τcr​].

重复文本的压缩程度远高于流畅文本，因此任何压缩比达到 $\tau_{\mathrm{cr}}$τcr​ 的窗口都表明存在循环，无论其周期如何、从何处开始。辅助检测器覆盖压缩可能遗漏的情况：周期性重复行、长单字符连续串以及字节相同的连续工具调用。最后，作者只保留至少包含 $K$K 次工具调用回合的轨迹，丢弃直接查找即可解决的浅层情况：

$$c_{\mathrm{depth}}(\tau) = \mathbb{I}[T_{\mathrm{tool}}(\tau) \geq K].$$cdepth​(τ)=I[Ttool​(τ)≥K].

对完整消息序列进行精确去重后，丢弃字节相同的轨迹，同时保留同一问题的不同 rollout，得到粗筛集合：

$$\mathcal{D}_{\mathrm{sft}} = \mathrm{dedup}\bigl\{(q, \tau) \in \mathcal{D}_{\mathrm{raw}} \mid c_{\mathrm{corr}} \cdot (1 - c_{\mathrm{degen}}) \cdot c_{\mathrm{depth}} = 1\bigr\}.$$Dsft​=dedup{(q,τ)∈Draw​∣ccorr​⋅(1−cdegen​)⋅cdepth​=1}.

粗筛过滤会保留或丢弃整条轨迹。然而，当问题接近教师模型的能力边界时，正确轨迹仍可能包含局部不佳的回合：冗余搜索、幻觉工具名称或与实际采取动作不一致的推理。作为回合级细化，作者使用 LLM 评判模型标记单个回合。难点在于，单独看起来浪费的回合往往是合理的探索步骤，且由于没有人工参与，评判模型必须自行划定界限。因此，作者从数据中归纳标准而非手工设计。具体来说，他们采样部分轨迹并要求评判模型以自由形式进行批评，然后将重复出现的失败模式整合为最终评判提示中使用的显式规则。对于每个助手回合，评判模型接收问题、参考答案以及周围回合的固定局部窗口，输出 KEEP 或 MASK，表示为 $m_t \in \{0, 1\}$mt​∈{0,1}。为防止过度过滤，作者在任意轨迹中最多屏蔽 10% 的助手回合。被屏蔽的回合保留在上下文中但不参与训练损失，从而在不丢弃有用交互历史的情况下提供更干净的学习信号。

对于每个助手回合，设 $C_{<t}$C<t​ 为其可见历史，由 harness 的重放算子从仅追加的对话中重建，以保持与 Agent 在推理时所依赖的上下文逐字节一致。在 $\hat{\mathcal{D}}_{\mathrm{sft}}$D^sft​ 上，作者最大化教师模型输出的似然：

$$\mathcal{L}_{\mathrm{SFT}}(\theta) = -\mathbb{E}_{(q, \tau) \sim \mathcal{D}_{\mathrm{sft}}} \sum_{t=1}^{T+1} m_t \log \pi_\theta\big(u_t \mid C_{<t}\big),$$LSFT​(θ)=−E(q,τ)∼Dsft​​t=1∑T+1​mt​logπθ​(ut​∣C<t​),

其中 $u_t$ut​ 是第 $t$t 回合的助手输出，即 $t \leq T$t≤T 时的推理和工具调用 $(r_t, a_t)$(rt​,at​)，以及 $t = T+1$t=T+1 时的最终推理和答案 $(r_{T+1}, \hat{y})$(rT+1​,y^​)。逐回合掩码 $m_t \in \{0, 1\}$mt​∈{0,1} 由细筛提供；观测、用户和系统 token 在构造上不承担损失。

强化学习。 作者随后通过组相对策略梯度在实时搜索环境中优化 Agent。为使长程 rollout 在无需完全异步的情况下保持可负担，他们通过请求级部分 rollout 将 rollout 机制置于在策略与离策略之间。为避免训练时依赖外部 API，他们在集群内共同部署一个内部模型，同时充当奖励评判模型和观测摘要器。

长程 rollout 具有重尾分布：少数会话运行时间远长于其余会话，从而阻塞同步步骤。作者不丢弃未完成的工作，而是在请求级中断。一旦一个步骤已提交足够多的已完成轨迹，正在进行的过采样会话将被中止，并在下一步从其已提交前缀继续。Rollout 被组织为森林，节点为消息状态，每个节点缓存其 token、损失掩码、对数概率和权重版本增量，因此恢复的轨迹是将不同策略权重下生成的前缀拼接起来的路径，这种不匹配通过截断重要性采样进行修正。已完成的回合因此被复用而非丢弃，这使得 rollout GPU 在同步、共置调度下保持忙碌，代价是约 $2\times$2× 的过采样作为余量。

作者不调用外部 API，而是在训练集群中与 actor 和 rollout 引擎一起运行多个 FP8 引擎的内部 Qwen3.5-397B-A17B 模型。作为生成式奖励模型（GenRM），该模型对提取出的答案 $\hat{y}_\tau$y^​τ​ 与参考答案 $y^*$y∗ 进行二元判定：

$$R(q, \tau) = \mathbb{I}\left[\mathrm{GenRM}\big(q, \hat{y}_\tau, y^*\big) = \mathrm{A}\right],$$R(q,τ)=I[GenRM(q,y^​τ​,y∗)=A],

没有额外的格式项，因为空答案或思维中途截断的答案提取为 $\emptyset$∅ 且已得 0 分，无需调用评判模型。作为摘要器，相同的引擎将每个检索到的页面压缩为简短且与查询相关的摘要，提供观测 $o_t$ot​。这是 rollout 中唯一的上下文缩减机制，没有消息历史剪枝或滑动窗口，因此策略所依赖的上下文与训练时完全一致。在集群内同时承担这两个角色消除了训练循环对外部 API 的依赖，一次资源分配即可覆盖训练、rollout 和奖励。

迭代爬升。 作者在迭代循环中交替进行 SFT 和 RL。每轮 RL 探索当前策略，之后一小部分高质量 rollout 通过监督微调被蒸馏回策略中；RL 随后从更新后的模型继续。每个这样的循环称为一次爬升。这种交替互补了两种目标的优势：RL 通过相对奖励改善当前策略采样的行为，而监督微调直接强化罕见但成功的轨迹，而非依赖其对组相对梯度的贡献。

对于每个查询 $q$q，作者从其 RL 样本中最多保留一个 rollout。设 $\bar{R}(q)$Rˉ(q) 为其 rollout 组内的通过率。他们选择满足 $0 < \bar{R}(q) \leq 1/2$0<Rˉ(q)≤1/2 的查询，针对可解决但尚不可靠的情况。在成功 rollout 中，要求至少包含 $K_{\mathrm{rft}}$Krft​ 次工具调用回合，然后选择最短的有效轨迹：

$$\mathcal{S}_q = \big\{\tau_i \mid R(q, \tau_i) = 1, T_{\mathrm{tool}}(\tau_i) \geq K_{\mathrm{rft}}\big\}, \quad \tau_q^{\star} = \underset{\tau \in \mathcal{S}_q}{\arg\min}\, T_{\mathrm{tool}}(\tau).$$Sq​={τi​∣R(q,τi​)=1,Ttool​(τi​)≥Krft​},τq⋆​=τ∈Sq​argmin​Ttool​(τ).

深度约束过滤掉侥幸或琐碎的解决方案，而最短轨迹标准则抑制不必要的搜索。得到的集合经去重后用于下一轮 RL 之前的 SFT。由于难度区间由当前策略的通过率定义，随着策略提升，它会自动向更难示例移动，提供简单的自定进度课程，并随着候选池缩减而自然产生停止信号。

实验

评估涵盖四个基准（BrowseComp、BrowseComp-ZH、DeepSearchQA 和 HLE），涉及 Iris-mini 和 Iris-pro 两个模型规模，在启用和不启用上下文管理的单次通过设置下进行测试。Iris-mini 在三个基准上领先其参数范围，而 Iris-pro 在全部四个基准上领先或持平，两者均优于更大模型并展现出强大的内在搜索能力。上下文管理分析显示一致的增益，尤其是对较小模型和长程搜索任务而言，但增益因基准而异，重试策略以显著推理成本换取更高分数。总体而言，结果证实该训练方法能产生具有竞争力的搜索 Agent，与前沿系统仍有差距，并指出需要超越基准指标的评估。

Iris-mini 和 Iris-pro 在四个搜索基准上取得具有竞争力或领先的结果，Iris-mini 在 30-35B 范围内表现出色，Iris-pro 在约 400B 范围内领先或持平最佳分数。这些模型展现出强大的内在搜索能力，优于更大且严重依赖计算资源的系统，但与前沿模型仍有差距。Iris-mini 在 BrowseComp 上比 XYZ-Aquila-mini 高出 3.4 分，并在其参数范围内领先 BrowseComp-ZH 和 HLE。Iris-pro 在 BrowseComp、DeepSearchQA 和 HLE 上取得最高分，并在 BrowseComp-ZH 上持平，在 BrowseComp 上比 XYZ-Aquila-pro 领先 3.8 分。在不启用上下文管理的情况下，Iris-mini 和 Iris-pro 以较大优势超越多个无 CM 基线，表明增益并非仅来自推理时策略。上下文管理持续提升性能，Iris-mini 的增益大于 Iris-pro，因为较小模型更频繁地耗尽上下文。

上下文管理（CM）在所有评估系统上持续优于无 CM 基线，Iris-mini 的增益大于 Iris-pro。CM 的有效性因基准而异，与会话耗尽上下文的频率相关，将 discard-all 与重试结合可获得最高分数，但推理成本显著。CM 在所有系统上均优于其无 CM 基线，Iris-mini 在 BrowseComp 上的增益最高达 21.2 分。Iris-mini 从 CM 中获益多于 Iris-pro，因为它消耗上下文更快且更频繁地达到限制。增益因基准而异：BrowseComp 获益最大，而 HLE 尽管基线较低但增益较小，因为其差距与上下文无关。在 BrowseComp-ZH 上，三种配置（带重试的 Iris-mini，以及带两种 CM 变体的 Iris-pro）取得完全相同的 85.1 分，表明存在与容量无关的限制。将 discard-all 与重试结合在大多数设置下给出最强结果，但增加的推理成本使其更像是上界探索而非主要配置。

Iris-mini 和 Iris-pro 在四个搜索基准上取得具有竞争力或领先的结果，Iris-mini 在 30-35B 范围内表现出色，Iris-pro 在约 400B 范围内领先或持平最佳分数，优于更大且严重依赖计算资源的系统，但与前沿模型仍有差距。上下文管理持续优于无 CM 基线，Iris-mini 的增益更大，因为它更频繁地耗尽上下文，将 discard-all 与重试结合可获得最高分数但推理成本显著。增益因基准而异，BrowseComp 获益最大而 HLE 较小，某些配置下的相同分数表明存在与容量无关的限制。