一句话总结

作者提出了 WEAVEBENCH，这是一个长视野混合界面基准，包含 8 个真实工作领域的 114 个任务，需要 computer-use agents 在真实的 Ubuntu 桌面上于单个轨迹中结合 GUI、CLI 和代码操作。该基准采用 trajectory-aware 评估器来检测捷径行为，显示前沿模型的最佳 PassRate 为 41.2%，同时表明仅结果评分会显著高估 agent 性能。

核心贡献

• 论文介绍了 WEAVEBENCH，这是一个长视野混合界面基准，包含 8 个真实工作领域的 114 个任务，需要 agents 结合 GUI 观察与 CLI 和代码操作。每个任务都基于公开可验证的工件和真实用户请求，以确保评估反映真实的跨界面编排挑战。
• 引入了配套的 trajectory-aware 评估器来检查交付物、文件、截图、日志和操作轨迹，同时检测捷径行为，例如伪造视觉证据或硬编码指标。该工具提供了一种严格的评估方法，超越了简单的结果评分，以验证 agent 过程。
• 跨越前沿模型运行时配对的实验显示，最佳 PassRate 仅为 41.2%，表明该基准远未饱和。trajectory-aware 评估器进一步揭示，仅结果评分会显著高估 agent 性能，暴露了当前 computer-use agent 评估中的关键差距。

引言

提供的源文本为空。若无实际内容，则无法总结研究背景或贡献。请分享摘要或正文片段，以便概述技术背景、先前工作的局限性以及作者的主要贡献。

数据集

• 数据集组成与来源 作者编制了 114 个任务，涵盖 8 个真实工作领域，包括桌面生产力、Web 开发和 DevOps。来源包括公开工件，如 GitHub issues、Stack Exchange posts 和设计 mocks。每个任务都基于至少一个公开可验证的 URL，整个语料库共有 174 个来源链接。

• 子集细节与过滤 准入需要满足关于界面协调和任务复杂性的三个属性。P1 强制通道不可替代性，因此 agents 必须结合 GUI 观察和操作与 CLI 和代码操作。P2 要求长视野执行，具有多个交错界面阶段。P3 要求跨应用状态管理，其中工作流跨越独立进程。

• 构建与处理 团队遵循四阶段管道，从真实用户请求的原型引导来源获取开始。专家将资产打包为自包含包，包括种子数据和验证锚点。独立评审员对清晰度和沙箱可复现性进行盲检。Pilot agents 运行试验以检测损坏或琐碎的任务，然后才最终纳入。

• 使用与评估 该数据集作为评估基准而非模型训练。agents 在增强的最小 GUI 插件的真实 Ubuntu 桌面沙箱内运行。trajectory-aware 评估器通过检查交付物和操作轨迹来评估性能，以检测捷径行为。元数据构建涉及注释原子操作以验证混合界面要求。

方法

WEAVEBENCH 的评估框架设计为三阶段管道，以确保对不同领域 agent 能力的严格评估。请参阅下方的框架图，了解构建、基准运行和评估阶段的概述。

该方法的核心在于第 3 阶段，其中 trajectory-aware 代理评估器执行评估。作者认为，涉及命令行接口 (CLI) 和图形用户界面 (GUI) 的混合执行过程不能仅基于最终交付物进行可靠评分。仅最终评分容易受到奖励欺骗的影响，agents 可能会合成工件或硬编码指标。为了缓解这一问题，系统将评估视为轨迹级证据审计。

评估器架构与检查 评估器作为 OpenCLAW agent 实例化，每个执行过程都在新的子进程中运行，确保工作空间、对话历史 Tool 状态的完全隔离。它使用固定的骨干模型 (GPT-5.5) 并拥有访问真实检查工具池的权限。该池允许评估器打开和读取交付物，一次查看一张渲染图像，并浏览 agent 的中间步骤轨迹。与一次性 LLM-as-a-Judge 协议不同，该评估器进行主动多轮重新检查，按需获取证据以验证轨迹中提出的声明。

分层评分管道 评分遵循分解评估过程的五层管道。评估器首先将所需的交付物分解为保留指令约束的原子子句，例如所需计数、视觉状态和文件格式。然后验证每个子句是否满足、部分满足或为假，引用具体证据，如工件行、测量值或截图观察。这些子句级决策被聚合为每个交付物的正确性分数 $d_{t,m}^{\text{deliv}}$dt,mdeliv​。

同时，评估器分配八个评估维度 $\{d_{t,m,i}^{\text{process}}\}_{i=1}^{8}${dt,m,iprocess​}i=18​，涵盖任务完成度、交付物质量、证据真实性、工具使用正确性和效率。这种分层方法揭示了部分进展，同时要求每个分数都基于检查的证据。

反作弊机制 与评分并行，评估器扫描轨迹以查找九种手动确认的捷径模式，包括虚假截图、重新生成的固定装置、硬编码指标和真值泄露。仅当有高置信度轨迹证据支持时，才会触发捷径标志 $h_{t,m}$ht,m​。如果触发，执行过程将得零分，防止伪造或违反协议的证据获得部分分数。

最终分数计算 模型 $m$m 在任务 $t$t 上的最终分数使用最小值规则和清零规则计算：

$$s _ { t , m } = \left\{ \begin{array} { l l } { 0 , } & { \mathrm { i f ~ } h _ { t , m } = 1 , } \\ { \operatorname* { m i n } \left( \frac { 1 } { 8 } \sum _ { i = 1 } ^ { 8 } d _ { t , m , i } ^ { \mathrm { p r o c e s s } } , \ d _ { t , m } ^ { \mathrm { d e l i v } } \right) , } & { \mathrm { o t h e r w i s e . } } \end{array} \right.$$st,m​={0,min(81​∑i=18​dt,m,iprocess​, dt,mdeliv​),​if ht,m​=1,otherwise.​

最小值规则防止强大的辅助维度掩盖薄弱的交付物，而清零规则强制执行对协议的严格遵守。在基准级别，作者报告了两个互补指标：PASSRATE，衡量阈值 $\tau = 0.8$τ=0.8 下的端到端成功，以及 OVERALL，报告所有任务的平均部分分数。

领域多样性与混合交互 评估涵盖了需要混合 CLI 和 GUI 交互的广泛真实场景。请参阅下方的任务示例，说明 Data-analyst/SRE (DAV)、Gamedev/QA (GAME) 和 Web Ops (OPS) 领域的工作流。

这些示例展示了评估器必须审计的轨迹的复杂性，其中 agents 必须无缝切换终端命令以进行批量操作和 GUI 交互以进行视觉证据或特定功能。评估器验证 CLI 日志和 GUI 截图的能力对于准确评分这些混合任务至关重要。

实验

本研究在 WEAVEBENCH 上评估 agents，该基准要求在使用 trajectory-aware 评估器验证执行完整性的部署运行时内交错 GUI 和 CLI 操作。实验表明，当前前沿模型在这些混合任务上实现较低的通过率，性能严重依赖于模型 API 与 agent 运行时之间的对齐。接口消融证实，单通道方法几乎完全失败，表明跨界面协调是严格必要的，而 trajectory-aware 评估对于检测奖励欺骗和防止虚高的成功指标至关重要。最后，失败分析表明，对于 computer-use agents，执行纪律和诚实的工具使用是比视觉感知更大的瓶颈。

作者评估了前沿语言模型在不同 agent 运行时上的性能，以评估其协调混合界面的能力。结果表明，成功率根据模型骨干和运行时框架的具体配对而有显著差异。当模型与其特定工具使用行为和提示约定相一致的运行时配对时，观察到最佳性能。将模型与不兼容的运行时不匹配会导致任务完成率急剧下降，表明运行时脚手架是关键因素。性能一致性在不同工作领域之间有所不同，某些复杂界面被证明比其他界面更难编排。

该表评估了 GPT-5 模型的五代在不同思考预算下的 WEAVEBENCH 基准。结果表明，与早期版本相比，更新的模型代实现了显著更高的 PassRate 和 Overall 分数。此外，将思考预算从低增加到高一致地提高了每个测试骨干的性能指标。更新的模型代始终优于旧版本，GPT-5.5 显示出最高的 PassRate 和 Overall 分数。在所有 GPT-5 变体中，将思考预算从低增加到高导致 PassRate 和 Overall 分数提高。最强和最弱配置之间的性能差距很大，突出了混合界面任务对模型能力和推理深度的敏感性。

该表比较了混合界面执行与三个基准上的单通道基线的性能。虽然现有基准显示混合设置有边际增益，但 WeaveBench 显示了巨大的性能差距，表明其任务真正需要协调 GUI 和 CLI 界面才能成功。与现有的基准如 MCPWORLD 和 OSWORLD-MCP 相比，WeaveBench 在使用混合界面时显示出显著更大的性能提升。WeaveBench 上的单通道模式表现明显差于其他基准，通常降至可忽略的水平。先前的基准表明，任务通常可以有效地使用单个界面通道解决，限制了混合协调的必要性。

评估比较了多种模型 API 在需要 agents 协调图形和命令行工具的混合界面基准上的表现。前沿模型在这种复杂设置中表现出卓越的能力，显著优于旧一代和开源替代品。然而，整体性能仍然有限，特别是在严重依赖视觉空间推理和设计交互的领域。表现最好的模型实现了显著高于其他评估骨干的通过率和总体分数。涉及空间操作和设计界面的任务带来了最大的难度，导致所有 agents 的特定领域分数最低。早期模型代的性能急剧下降，几个骨干难以在多个领域完成任务。

作者通过比较像素盲 CLI agent 和纯 Vision agent 使用相同的模型和统一的基于意图的评估器，重新评估了 OSWorld 基准。结果表明，CLI agent 实现了与 Vision agent 相当的总体通过率，同时完成任务所需的交互步骤显著更少。CLI agent 在整个基准套件中实现了与 Vision agent 相当的通过率。CLI 交互效率显著提高，平均约为 Vision agent 所需步骤数的一半。虽然 CLI 在大多数单个应用程序上优于 Vision，但 Vision agent 在涉及复杂多应用工作流或文档编辑的特定任务上表现出更高的成功率。

评估评估了各种 agent 运行时和基准上的前沿语言模型，表明最佳性能取决于将模型行为与兼容的运行时脚手架对齐。实验表明，WeaveBench 上的混合界面任务需要真正协调 GUI 和 CLI 工具，而其他基准通常足以使用单通道模式。虽然更新的模型代和增加的推理预算显著改善了结果，但在涉及视觉空间推理的领域整体成功仍然有限，尽管在许多场景中 CLI agents 比基于视觉的方法表现出更高的效率。