一句话总结

上海人工智能实验室的研究者推出了 Agents-A1，一个 $35\mathrm{B}$35B 混合专家 agentic 模型，通过长程知识-动作轨迹和多老师域路由在线蒸馏结合显著词汇对齐，扩展 agent 的决策视野，在 SEAL-0（$56.4$56.4）和 IFBench（$80.6$80.6）等基准上达到了万亿参数级别模型的性能。

核心贡献

• Agents-A1，一个 35B 的混合专家 agentic 模型，扩展了长程异构能力，并在 SEAL-0、IFBench 和 HiPhO 等基准上达到或超越了 1T 参数模型。
• 一个长程知识-动作基础设施，通过连接外部知识、动作、观察和验证信号，生成平均长度为 45K token 的 agentic 轨迹，提升了工具使用、规划和结果检查中的多轮基础能力。
• 带有显著词汇对齐的域路由在线蒸馏，将六个领域专用的教师模型统一为一个学生模型，减少了跨领域推理冲突，并提升了异构领域间的知识迁移效率。

引言

大语言模型的最新进展正推动 AI 从被动语言模型向能够规划、使用工具、与环境交互并通过反馈自我改进的自主 agent 迈进。在软件工程和科学研究等长程场景中，agent 必须获取信息、分解任务、调用工具、验证中间结果并持续调整策略。这尤其具有挑战性，因为早期错误会累积，而新的外部信息常常迫使策略修改。已有工作遵循两条主要扩展路线：扩展模型参数能内化推理和工具使用模式，但需要巨大的算力和数据，使得 agentic 能力难以在较小规模下复现。扩展 agent 视野则相反，能使中间决策显式化，但这暴露了两个瓶颈。首先，它需要一个统一的知识-动作基础设施，将外部知识、动作、观察和验证信号连接起来，否则 agent 难以学习有根基的多步推理和纠错。其次，它必须整合异质且组合性的能力（多步检索、工具使用、可执行迭代、约束跟踪、反思），这些能力在不同领域中发展不均衡，并以复杂方式相互作用。作者提出了 Agents-A1，一个 35B 的混合专家 agentic 模型，旨在应对这些挑战。他们构建了一个长程知识-动作基础设施，能生成平均 45K token 的 agentic 轨迹，从而能够从有根基的反馈中学习。该模型通过三阶段方法训练：全领域监督微调以建立广泛的长程能力，领域级教师模型进行专门化提升，以及一种新颖的域路由在线蒸馏结合显著词汇对齐，将六个异构领域的教师能力统一到一个可部署的模型中。

数据集

作者构建了一个与知识-动作图（KAG）模式对齐的多领域数据集，生成了横跨五个领域的、将上下文、动作、观察和验证器信号配对的训练轨迹。该数据用于训练在结构化反馈下进行长程推理和交互式决策的模型。

• 长程搜索 来源：一个 Wikipedia 语料库图（文章为节点，超链接为边）以及来自强模型 rollout 的真实网络交互。 处理：受控随机游走过滤掉消歧页面、近似重复标题、没有有效文本或有效出链不足的节点以及非内容的尾部章节。被接受的游走被转换为带掩码的问答对，并附上段落级证据。基于网络的轨迹使用 search、read_page 和 code 工具在 256K-token 上下文中进行；后处理抛弃了错误答案、过短交互和明显猜测。 用途：为搜索行为、证据检索和答案验证提供监督。

• 机器学习工程 来源：MLE-Dojo（涵盖表格、视觉、NLP、音频、时间序列的 Kaggle 风格任务）和已结束的 Kaggle 竞赛。对于已结束的竞赛，公开数据被重新划分为新的训练/测试集，并提供私有答案和本地评估器。 处理：一个 agentic 框架生长出一棵包含解决方案节点（完整脚本、补丁、执行运行）的树。教师轨迹通过多种种子和提示变体收集，使用本地评估器重放，并过滤以仅保留产生有效、有竞争力提交的运行。回归性片段被修剪，重复内容被去除；最终运行被序列化，并在教师生成的内容上使用损失掩码。 用途：教授解决方案搜索行为、节点导航和评估器引导的细化。

• 科学推理与研究 来源：约 15K 道来自数学、物理和相关领域的科学问题，通过自进化图过程扩展，创建更困难、交互更丰富的变体。 处理：从每个问题中，从一个强模型蒸馏出“无工具”（纯多步推导）和“工具增强”（使用 search、visit、code 和 scholar 工具）两种轨迹。仅保留最终答案正确的轨迹。 用途：为纯推理和工具辅助的科学问题求解提供补充监督。

• 指令遵循 来源：来自 NVIDIA 的 Nemotron-RL 数据集（源自 WildChat-1M 和 Open-Instruct）的 13K 多约束样本，以及 10K 内部长上下文问答实例。 处理：对于内部子集，解析长文档以提取事实图，然后通过注入局部规则或干扰项的方式合成多跳问题；所有任务转换为多项选择格式，并通过自动验证过滤以确保答案同时依赖于分散的证据和注入的约束。 用途：训练在长文档中的约束跟踪、证据验证和抗干扰能力。

• 工具调用 来源：从科学、网络、仓库、数据库和仿真环境中提取的工具模式；任务通过在工具依赖图上进行图组合式合成来创建。 处理：在沙盒中，求解器后端探索多轮轨迹，并可选的模拟用户反馈。多个候选链条由验证器根据模式正确性、状态一致性、观察根基和目标完成度进行评分；无效或无根基的运行被丢弃。 用途：教授基于模式约束的工具使用、澄清处理和状态依赖的多轮交互。

所有子集合并为一个统一的消息流。在训练期间，模型从整个语料库中学习，以执行跨不同视野的 KAG 风格操作（行动、观察、验证），验证器结果和损失掩码塑造了监督信号。

方法

作者提出了一个三阶段训练流程来开发一个具有广泛能力的长程 agent。如框架图所示，该过程从全领域监督微调开始，以建立跨不同领域的基线能力。随后，通过针对性的监督微调或强化学习训练领域级教师，使其专精于特定的交互模式。最后，通过多教师在线蒸馏将这些专门化的教师整合到一个可部署的学生模型中。

为支持此流程，作者构建了一个知识-动作基础设施，将异构语料库转换为组合式和可验证的监督信号。该基础设施构建在一个知识-动作图之上，该图将证据、动作、观察和验证器结果表示为链接对象。该图被形式化定义为一个带类型的四元组 $\mathcal{G}_d = (\mathcal{C}_d, \mathcal{A}_d, \mathcal{O}_d, \mathcal{V}_d)$Gd​=(Cd​,Ad​,Od​,Vd​)，其中 $\mathcal{C}_d$Cd​ 是领域语料库，$\mathcal{A}_d$Ad​ 是动作空间，$\mathcal{O}_d$Od​ 是观察空间，$\mathcal{V}_d$Vd​ 是验证器集合。为优化图的质量，采用了一个提议器-求解器-验证器博弈，通过自博弈图搜索和扩展来扩大图。

在领域级教师训练阶段，为诸如 agentic 搜索、科学推理、指令遵循和工具调用等任务开发了专门化模型。例如，搜索教师使用强化学习进行优化，其奖励函数结合了正确性、搜索行为惩罚和格式校准。科学教师经历一个两阶段监督微调流程，以增强内在推理深度和外在工具增强交互。

为将这些领域专精教师整合为一个统一的学生模型，作者采用了一个带有显著词汇对齐（Salient Vocabulary Alignment）的域路由多教师在线蒸馏框架。对于每对提示-域 $(x_i, d_i)$(xi​,di​)，一个冻结的 rollout 学生采样出 $y_i \sim \pi_{\theta_s}(\cdot \mid x_i)$yi​∼πθs​​(⋅∣xi​)，而优化后的学生 $\theta_s'$θs′​ 由路由教师 $\theta_{t,i} \triangleq \theta_t^{d_i}$θt,i​≜θtdi​​ 监督。显著词汇对齐通过在一个紧凑的、教师支持的局部词汇表上对齐学生和路由教师，取代了采样 token 的代理目标。令 $p_{s'}(u) = \pi_{\theta_s'}(u \mid x_i, y_{i,<t})$ps′​(u)=πθs′​​(u∣xi​,yi,<t​) 和 $p_{t,i}(u) = \pi_{\theta_{t,i}}(u \mid x_i, y_{i,<t})$pt,i​(u)=πθt,i​​(u∣xi​,yi,<t​)。这些分布在路由教师分布下的 top-$k$k 有效 token 集合（记为 $\mathcal{S}_{i,t}^{(k)}$Si,t(k)​）上重新归一化： $\bar{p}_{s'}(u) = \frac{p_{s'}(u)}{\sum_{v \in \mathcal{S}_{i,t}^{(k)}} p_{s'}(v)}, \qquad \bar{p}_{t,i}(u) = \frac{p_{t,i}(u)}{\sum_{v \in \mathcal{S}_{i,t}^{(k)}} p_{t,i}(v)}, \quad u \in \mathcal{S}_{i,t}^{(k)}.$pˉ​s′​(u)=∑v∈Si,t(k)​​ps′​(v)ps′​(u)​,pˉ​t,i​(u)=∑v∈Si,t(k)​​pt,i​(v)pt,i​(u)​,u∈Si,t(k)​. 每个样本的目标是在此显著支撑集上的截断反 KL 散度，并在可训练模型生成的位置 $R_i$Ri​ 上进行平均： $\ell_{\mathrm{SVA}}^{(i)}(\theta_s'; \theta_{t,i}) = \frac{1}{|R_i|} \sum_{t \in R_i} \sum_{u \in \mathcal{S}_{i,t}^{(k)}} \bar{p}_{s'}(u) \log \frac{\bar{p}_{s'}(u)}{\bar{p}_{t,i}(u)}.$ℓSVA(i)​(θs′​;θt,i​)=∣Ri​∣1​∑t∈Ri​​∑u∈Si,t(k)​​pˉ​s′​(u)logpˉ​t,i​(u)pˉ​s′​(u)​.

为处理跨领域异质性并防止高频领域主导更新，作者使用域归一化目标来聚合损失。令 $\mathcal{B}_d$Bd​ 表示一个小批量 $\mathcal{B}_z$Bz​ 中来自域 $d$d 的样本子集，$\mathcal{D}_{\mathcal{B}}$DB​ 为活跃域集合。最终目标首先在每个活跃域内平均损失，然后再跨活跃域平均： $\mathcal{L}_{\mathrm{MT-SVA}}(\theta_s') = \frac{1}{|\mathcal{D}_{\mathcal{B}}|} \sum_{d \in \mathcal{D}_{\mathcal{B}}} \frac{1}{|\mathcal{B}_d|} \sum_{i \in \mathcal{B}_d} \ell_{\mathrm{SVA}}^{(i)}(\theta_s'; \theta_{t,i}).$LMT−SVA​(θs′​)=∣DB​∣1​∑d∈DB​​∣Bd​∣1​∑i∈Bd​​ℓSVA(i)​(θs′​;θt,i​). 这种方法确保学生在吸收教师池中更强的领域特定行为的同时，保持广泛的覆盖面。

实验

评估覆盖了搜索、科学、工程、指令遵循和工具使用等一系列长程 agentic 基准，使用多阶段方法：领域专用教师首先通过监督微调和带有基于规则及过程性奖励的两阶段强化学习进行训练，然后通过多领域在线蒸馏将其蒸馏到一个单一模型中。领域教师在各自专长上显示出显著提升，而在线蒸馏解决了单轮长推理和多轮工具交互之间冲突的思维模式，产生了一个均衡的 agent，其性能优于同规模基线，甚至在搜索、科学研究和长指令遵循上能与大得多的模型匹敌。定性案例研究展示了该模型自主进行多步机器学习优化和闭环科学分析的能力，尽管开放式的工程任务因稳定长程规划的要求而仍然具有挑战性。

agent 框架为代码编写、执行和解决方案树导航提供了紧凑的工具接口。这些工具让 agent 能够创建全新的攻击根节点、应用增量补丁以生成子节点、执行代码并捕获验证指标和提交有效性，以及概览树中按指标排名的列表、选定的答案和失效历史。此设计支持验证器引导的解决方案搜索，并使得一次长达 12 小时的自主优化取得成果，将一个朴素的 CNN 基线提升至金牌级别结果。write_full_code 为新的攻击线打开一个新的根节点，而 patch_code 生成子节点以在增量细化期间保留树历史。execute_code 捕获 stdout、异常、验证指标并检查提交有效性，将验证器结果直接反馈回搜索过程。list_nodes 概览整个解决方案树，提供按指标排名的列表、最近的答案轨迹和失效历史，从而实现信息化的选择和回溯。execute_bash 提供受保护的环境检查和设置（安装、GPU 检查、文件操作），而不会污染解决方案代码。

监督微调数据集主要由长上下文示例构成，总体平均长度为 45K token。编程与工程、深度研究和通用 agentic 任务的平均长度最高，而指令遵循样本明显更短。这种构成支持对复杂、多轮推理和 agentic 工作流的训练。编程与工程任务达到了最高的平均 token 长度，略高于深度研究。指令遵循是一个明显的离群值，其平均长度比其他所有领域大约低一个数量级。五个领域中有四个平均至少有 37K token，表明训练中对长程轨迹的严重依赖。

监督微调应用一个 epoch，使用 1e-5 的低学习率和包含 5% 预热阶段的余弦调度。训练使用批量大小为 16，最大序列长度为 131,072 token，并采用 AdamW 优化器，以使模型与跨不同指令遵循数据集的预期行为对齐。采用单个训练 epoch 和带有 0.05 预热比率的余弦学习率调度，以避免在适配模型时过拟合。序列被处理至最长为 131,072 token，结合批量大小 16 和 AdamW 优化器。

与 Qwen3.5-35B-A3B 基线相比，全领域 SFT 模型 Agents-A1-SFT 在每一个报告的长程搜索任务以及 SciCode 工程基准上都带来了显著提升。最终的 Agents-A1 模型，在增加了多领域在线蒸馏后，维持或进一步改善了这些结果，在 BrowseComp、Seal-0、GAIA 和 SciCode 上取得了三种配置中的最高分。Agents-A1-SFT 在 GAIA 上的性能相对于基线有大幅提升，而 Agents-A1 进一步将其推高少许，在任务上领先所有比较模型。在 SciCode 上，从基线到 SFT 再到 Agents-A1，性能呈一致的向上递增趋势，最终模型取得了最佳分数。

通过监督微调和RL获得的搜索增强教师模型，在所有评估的搜索基准上均优于基线 Qwen3.5-35B-A3B。最大的增益是在 GAIA 上，性能从 59.8 跃升至 95.1，而带有工具的 HLE 也有小幅但一致的提升。Seal-0 和 XBench-DS-2510 上的显著进步进一步证实了搜索专用后训练的好处。相对于基线，搜索增强教师改善了所有四个搜索基准，其中在 GAIA 上的提升最为显著（从 59.8 到 95.1）。带有工具的 HLE 显示了 2.9 个点的适度增益，表明教师的搜索增强在这个有挑战性的基准上提供了较小但可靠的提升。Seal-0 和 XBench-DS-2510 的分数大幅提升，证明面向搜索的 SFT 和 RL 同时加强了检索增强推理和领域泛化能力。

实验验证了一个结合代码编写、执行和解决方案树导航工具的 agent 框架，能实现自主优化，将一个朴素的 CNN 基线提升至金牌级别结果。在平均长度为 45K token 且以长上下文为主的数据集上进行训练，使模型具备处理复杂、多轮 agentic 工作流的能力，而监督微调后再进行多领域在线蒸馏，在长程搜索任务和工程基准上带来了一致的增益。此外，一个搜索增强教师模型证实，搜索特化的后训练能显著提升性能，特别是在检索增强推理任务上，验证了整体设计的有效性。