一句话总结

为了弥补大型语言模型 Agent 静态评估的不足，这项工作引入了 EvoArena，这是一个模拟终端、软件和社会领域渐进式更新的基准测试套件，以及 EvoMem，这是一种基于补丁的记忆范式，将记忆演变记录为结构化更新历史，以支持对环境变化的推理，在 EvoArena 上实现了平均 1.5% 的准确率提升，并将 GAIA 和 LoCoMo 基准测试分别提高了 6.1% 和 4.8%。

核心贡献

• 本文介绍了 EvoArena，这是一个将环境变化建模为终端、软件和社会领域渐进式更新序列的基准测试套件。当前 Agent 在此基准测试上表现挣扎，在进化领域的平均准确率为 39.6%。
• 本文提出了 EvoMem，这是一种基于补丁的记忆范式，将记忆演变记录为结构化更新历史，以支持对环境变化的推理。该方法通过记录变更和触发证据的补丁历史，使记忆演变可检查，从而增强了透明度。
• 结果表明，EvoMem 在 EvoArena 上实现了平均 1.5% 的提升，并将 GAIA 和 LoCoMo 等标准基准测试分别提高了 6.1% 和 4.8%。对于需要连续进化子任务的任务，EvoArena 上的链级准确率也提高了 3.7%。

引言

大型语言模型 Agent 在静态基准测试上表现出色，但在现实世界部署中表现挣扎，因为接口、规则和用户偏好不断变化。现有评估方法通常依赖固定环境快照，导致 Agent 在为了新信息而覆盖有用的历史上下文时失败。为了弥补这一差距，作者介绍了 EvoArena，这是一个模拟终端、软件和社会领域渐进式更新的基准测试套件。他们进一步提出了 EvoMem，这是一种基于补丁的记忆范式，记录结构化更新历史，帮助 Agent 在不丢失关键先前证据的情况下推理环境变化。

数据集

• 数据集构成与来源

  • 作者构建了 EvoArena，这是一个评估 Agent 在三个不同机制下持续环境演变的基准测试套件。
  • Terminal-Bench-Evo 将 89 个原始 Terminal-Bench 任务扩展为可执行的工作流链，其中目标保持稳定而执行条件发生变化。
  • SWE-Chain-Evo 利用来自 12 个活跃 GitHub 仓库的 50 个进化链，具有可重现的依赖项。
  • PersonaMem-Evo 基于 PersonaMem-v2 和 PersonaHub 构建，创建了 10 个专注于隐式行为证据的人物级对话。

• 各子集的关键细节

  • Terminal-Bench-Evo: 包含 89 条链的 441 个任务实例，平均长度为 4.96 个版本。更新涵盖 I/O 协议、CLI 接口、依赖项和工作区组织。
  • SWE-Chain-Evo: 具有 493 个链步实例，其中里程碑平均修改 2.72 个文件。每个里程碑包括 Fail-to-Pass 和 Pass-to-Pass 测试，以验证功能和回归。
  • PersonaMem-Evo: 包含 505 个偏好推断问题，配有人物平均 174.7K tokens 的长交互历史。问题测试单模式迁移、冲突解决和时间轨迹预测。

• 数据使用与处理

  • 数据用作评估测试台而非训练集，测量单个任务的步骤准确率和完整进化序列的链准确率。
  • 终端处理: 五阶段管道生成继承版本，其中环境变化在发布期间持续存在，确保后续版本建立在早期实现状态之上。
  • 软件处理: 仓库状态通过 oracle 引用更新推进，以防止评估期间累积的 Agent 错误，将适应与执行失败隔离开来。
  • 人物处理: 双盲过滤移除仅凭人物档案或无需上下文即可解决的问题，以确保依赖对话记忆。

• 元数据与构建

  • 元数据记录链条位置、更新类型、更改组件和来源偏好证据，用于 Agent 故障的诊断分析。
  • 进化链条按时间顺序组装，以测试对新版本的适应，同时保留有效的先前行为。
  • 质量控制步骤包括可执行性的 oracle 验证和一致性检查，以确保指令、环境和测试一致。

方法

作者解决了现有 Agent 记忆系统的一个关键限制，该系统通常仅维护单个最新记忆状态。虽然这对静态环境有效，但当知识依赖于版本时，此设计会失效。在进化工作流中，为新版本更新的规则可能会覆盖对旧版本或特定组织上下文仍然有效的早期规则。为了解决这个问题，作者引入了 EvoMem，这是一个通过显式记忆进化轨迹增强基础记忆系统的框架。请参阅下方的工作流环境图，了解发生这种进化的多样化设置。

EvoMem 通过两个主要组件运作：补丁记录和补丁增强检索。请参阅下方的框架图，以获取系统架构的视觉概览。 首先，补丁记录存储有意义的非加性记忆更新。这包括有关更改内容、更改原因以及触发更新的证据的详细信息。其次，补丁增强检索在查询依赖于被覆盖状态或特定版本行为时，检索相关历史补丁以及最新记忆。此设计保持基础记忆系统完整，同时使记忆更新可检查并可重用于下游推理。

补丁记录的目标是保留行为上有意义的转换。令 $x_t$xt​ 表示时间 $t$t 的输入观察，令 $M_{t-1}$Mt−1​ 为 Agent 在观察 $x_t$xt​ 之前维护的基础记忆。基础记忆更新器产生新的记忆状态：

$$M_t = U(M_{t-1}, x_t)$$Mt​=U(Mt−1​,xt​)

其中 $U$U 是特定于 Agent 的更新函数。EvoMem 监控从 $M_{t-1}$Mt−1​ 到 $M_t$Mt​ 的转换，并捕获否则会被丢弃的记忆变化。系统计算差异：

$$\Delta_t = \mathrm{Diff}(M_{t-1}, M_t)$$Δt​=Diff(Mt−1​,Mt​)

EvoMem 仅针对非加性更新（如修订或覆盖）创建补丁。对于每个非加性更新，系统将补丁写入追加式补丁历史：

$$p_t = (\tau_t, C_t^-, C_t^+, r_t, z_t, e_t)$$pt​=(τt​,Ct−​,Ct+​,rt​,zt​,et​)

这里，$\tau_t$τt​ 表示时间元数据，$C_t^-$Ct−​ 和 $C_t^+$Ct+​ 表示更新前后的记忆内容，$r_t$rt​ 记录理由，$z_t$zt​ 提供语义摘要，$e_t$et​ 存储支持证据。生成的补丁历史为 $\mathcal{P}_{1:t} = \{p_1, \ldots, p_t\}$P1:t​={p1​,…,pt​}。

补丁增强检索仅在有助于解决查询时暴露版本相关证据。给定查询 $q$q，EvoMem 首先从最新记忆中检索证据：

$$c_{\mathrm{mem}} = R_{\mathrm{mem}}(q, M_T)$$cmem​=Rmem​(q,MT​)

EvoMem 然后从历史中检索相关补丁：

$$\mathcal{P}_q = R_{\mathrm{patch}}(q, \mathcal{P}_{1:T})$$Pq​=Rpatch​(q,P1:T​)

最终上下文结合了两个来源：

$$c(q) = \mathrm{Concat}(c_{\mathrm{mem}}, \mathcal{P}_q)$$c(q)=Concat(cmem​,Pq​)

这使 Agent 能够将决策基础建立在当前记忆及其背后的进化轨迹上。

该框架在各种 Agent 类型中实例化。对于终端和软件工程 Agent，环境通过特定里程碑进化。如下所示，部署工作流可以通过钩子和重试机制、路径修复和权限更改等阶段进化。 同样，软件工程任务涉及进化代码库上的连续里程碑。请参阅工程目标图，了解跨版本强化协议行为的示例。 对于社会智能 Agent，该方法跟踪长对话中不断变化的用户偏好。如下所示，偏好可以在多个回合中从一般陈述转变为特定时间条件。 这种分离将记忆从单一可变存储转变为版本化进化轨迹，允许 Agent 保留对先前状态、理由和证据的访问，以进行版本感知推理。

实验

评估评估了 EvoArena 等进化基准测试和标准任务上的 EvoMem，以确定环境变化下的 Agent 鲁棒性。结果表明，EvoMem 通过使 Agent 能够操作化检索到的转换信息并在软件或偏好进化期间保留历史约束，显著增强了链级一致性。定性分析证实，当任务需要跟踪分散的时间证据或避免依赖序列中的回归时，该系统特别有效，表明将更新历史保留为可检索证据对于随着任务条件随时间变化而保持可靠性至关重要。

作者在标准 Agent 基准测试上使用多个主干模型和专用 Agent 评估了 EvoMem 方法。结果表明，与基线配置相比，添加 EvoMem 一致提高了所有测试模型的任务性能。两个基准测试都显示出平均分数的积极变化，表明 EvoMem 有效地增强了这些标准设置中的 Agent 鲁棒性。EvoMem 在 GAIA 基准测试的所有测试模型中一致产生正向性能提升。LoCoMo 基准测试在集成 EvoMem 时也显示出统一改进。两个基准测试的平均分数均有所增加，证实了记忆增强的普遍有效性。

该表格概述了软件进化基准测试数据集的构成，将仓库分类为六个不同领域，如 Web 框架和云基础设施。它表明评估集涵盖了各种软件工程上下文，聚合了这些类别中的多个进化链和里程碑。云基础设施和分布式系统领域包含数量最多的仓库和里程碑。测试框架占基准测试数据集的最小部分。该数据集聚合了各种软件领域的多个进化链，以测试长视野记忆和鲁棒性。

该表格展示了 PersonaMem-Evo 基准测试的准确率结果，比较了基线 Agent 配置与增强 EvoMem 的配置。结果表明，集成 EvoMem 一致提高了所有难度层级的性能，导致更高的聚合准确率分数。EvoMem 在所有难度级别上均提供比基线一致的性能提升。中间难度级别与基线相比显示出最大的相对改进。虽然最难难度级别以最高的基线准确率开始，但该方法仍产生正向收益。

结果展示了使用 GPT-5.5 主干网络的 PersonaMem-Evo 基准测试的难度级别分析，比较了基线 Agent 与增强 EvoMem 的版本。数据表明，EvoMem 一致提高了所有难度级别的性能，在最低和最高难度层级观察到最显著的收益。EvoMem 在所有难度级别上均提供比基线一致的准确率改进。与中间层级相比，在最容易和最难的难度设置下性能收益明显更大。中间难度级别在三个评估组中表现出最小的改进幅度。

作者分析了 EvoMem 如何影响进化偏好环境中不同推理类型的性能。数据表明，该方法对于需要仲裁竞争偏好和合成分散信号的任务特别有效。然而，它在时间轨迹任务上显示出轻微的性能下降，表明在优先处理最近有效状态方面可能存在困难。该方法在冲突解决和多模式合成任务中提供了最强的性能提升。单模式迁移任务从包含 EvoMem 中受益有限。与基线系统相比，时间轨迹任务的准确率有所下降。

该研究在标准基准测试（包括 GAIA 和 LoCoMo）以及专门的软件进化和 PersonaMem-Evo 数据集上评估了 EvoMem，涵盖了不同的领域和推理类型。实验表明，与基线配置相比，该方法在多个主干模型和难度层级上一致提高了任务性能和 Agent 鲁棒性，具体分析揭示了在冲突解决和多模式合成任务中的强劲收益。尽管时间轨迹任务的准确率略有下降，但这些发现共同验证了 EvoMem 作为一种鲁棒的记忆增强技术，增强了 Agent 在复杂、进化环境中的能力。