Command Palette
Search for a command to run...
AgenticSTS:面向长周期LLM智能体的有界记忆测试平台
AgenticSTS:面向长周期LLM智能体的有界记忆测试平台
Xiangchen Cheng Yunwei Jiang Jianwen Sun Zizhen Li Chuanhao Li Xiangcheng Cao Yihao Liu Fanrui Zhang Li Jin Kaipeng Zhang
摘要
长周期LLM智能体的记忆,本质上是对未来每一步决策所能获取信息的契约。最简单的契约是将历史观察、工具调用和自我反思附加到每个提示中,这使得过往上下文易于访问,却也将其变成一团混杂的堆积,其中任何单一记忆成分的效应都难以分离。我们引入并构建了一种替代性的有界契约:每次决策都基于一条重新组合的新用户消息,通过类型化检索生成,不附带任何跨决策的原始记录。因此,无论运行多长,提示都能保持有界,且任何单一层次都可独立剥离进行消融实验。我们在《Slay the Spire 2》中实例化了该契约——这是一款封闭规则的随机牌组构筑游戏,每次通关需要做出数百个战术与战略决策。公开在线基准测试显示,最前沿的LLM在最低难度下、五种配置中均零胜绩,而同一难度下开发者报告的人类胜率为16%;该任务虽难但并非无法攻克。在我们的框架中,固定A0消融实验表明,当启用触发性战略技能时,呈现最大可观测差异:无存储基线胜出3/10局,加入技能层后胜出6/10局。在此样本量下,该对比仅为方向性指示而非统计上决定性(Fisher确切检验 p≈0.37);文中还报告了跨基座模型探测及公开的累积上下文基线,作为操作性比较而非对契约变量本身的控制性检验。我们发布一个可复现的测试平台:包含298条带条件标签的完整轨迹、冻结的记忆/技能快照、提示记录及分析脚本——一个面向长周期LLM智能体的智能体设计,以及一种经过验证、可重用的方法,用于研究显式记忆层如何塑造其决策。
一句话总结
来自Alaya Lab、上海交通大学等机构的研究团队提出了AgenticSTS,这是一个有界记忆的测试平台,LLM agent通过类型化检索接收全新提示,而非累积转录记录,从而可以隔离消融记忆层。在游戏《杀戮尖塔2》中的消融实验显示,触发的策略技能将胜率从103提升至106,展示了研究长周期agent记忆的可复现方法论。
核心贡献
- 引入了一种有界记忆契约,每个决策提示由类型化检索组装而成,不附加原始的跨决策转录记录,使提示在多次运行中保持有界,并能够独立消融记忆层;该契约在随机卡牌构建游戏《杀戮尖塔2》中实例化。
- 固定A0配置的消融实验表明,在无存储基线中添加触发的策略技能层(L5)可将游戏胜率从3/10提高到6/10,为显式技能记忆的影响提供了方向性证据,尽管对比在统计上并非决定性(Fisher精确检验p ≈ 0.37)。
- 发布了一个包含298条带条件标签的完整轨迹、冻结的记忆和技能快照、提示记录以及分析脚本的可复现测试平台,形成了一个agent设计和经过验证的方法,用于研究类型化记忆层如何塑造长周期LLM agent的决策。
引言
长周期LLM agent必须决定在每个决策提示中呈现哪些先前经验,但典型设计要么附加不断扩大的全文转录记录,挤压上下文窗口,要么检索非结构化片段,使记忆接口不透明且难以审计。作者针对这一差距,将记忆形式化为一个有界的、类型化的契约,并在未解决的角色扮演游戏《杀戮尖塔2》中实例化,目前前沿模型在该游戏中尚无法获胜。他们的agent AgenticSTS将原始转录积累替换为五个按决策分配的槽位(协议、状态、检索规则、情节摘要和触发技能),将记忆从不断增长的历史记录转变为可检查且可单独消融的组件。这种架构让研究人员能够隔离出哪个记忆类型最为关键,作者发布了298条带条件标签的轨迹、冻结的槽位快照和分析脚本,以支持对长周期agent记忆设计的可复现比较。
数据集
作者发布了一个包含298条完整游戏轨迹的数据集,来自角色扮演卡牌构建游戏《杀戮尖塔2》,在有界记忆的LLM-agent接口下收集。该数据可作为语言模型中长周期规划和记忆的可重用评估表面。
-
构成与来源:每条轨迹记录完整的基于文本的游戏状态、agent的决策以及元数据——目标和达到的进阶等级、结果(胜利/失败)、墙上时钟时间、LLM调用次数、条件标签以及活跃的记忆/脚手架设置。这些运行由使用论文中描述的实验框架的LLM agent生成。
-
子集划分:
-
固定进阶0(A₀)平衡子集:50次运行,每个实验条件10次,采用冻结配置。用作主要的头对头消融基准。
-
跨主干探针:额外轨迹,比较不同底层LLM在相同设置下的表现。
-
自动模式进阶阶梯:agent在胜利后自动晋升下一个进阶等级,或在失败后重试,覆盖完整的11级阶梯(A₀–A₁₀)的运行。
-
数据使用:不存在训练集划分;数据集仅用于评估。固定A₀子集在单一难度下隔离组件效应,而自动模式运行跟踪agent攀升有序难度阶梯的能力。跨主干轨迹支持跨模型的稳健性检查。
-
处理与元数据:原始轨迹保存为冻结存储(包含长期记忆层L₄和L₅)和按条件标签。对于评分,从运行结果、达到的楼层和击败的几个Boss数量推导出分析分数(完整映射见附录):胜利为100分;否则为楼层 + (52/3) × Boss数量。该分数从轨迹字段重新计算,而非从游戏的原生存档复制,并作为次要指标与胜率并列。
方法
作者用有界的、类型化的检索契约取代了传统的提示-历史接口。不再随时间累积原始消息轮次,每个决策提示在生成时由五个知识层组合而成。这种设计限制了上下文大小,与运行长度无关,并使记忆架构本身成为消融实验的可控变量。
对于在状态sd下的决策d,引擎从五个层中检索相关项目,并构造一条全新的用户消息 ud=π(L1,L2(sd),L3(sd),L4(sd),L5(sd)) 该消息与静态系统提示一同发送给LLM。上下文预算为O(∣sys∣+sthread+∑iki⋅si),其中ki和si分别是检索上限和项大小。因此,每次决策的token成本不随决策数量增长,而不像转录接口那样最坏情况增长为Ω(d⋅sˉ)。
五个层根据可变性和角色划分:
- L1 操作员提示:每种状态类型的不可变角色和协议模板。
- L2 状态类型提示:战斗、卡组构建、地图、事件和幕间决策的不可变模式,包括合法行动格式。
- L3 游戏知识:可枚举的规则数据(卡牌、遗物、事件、敌人、意图),随游戏补丁更新。
- L4 情节记忆:按角色、进阶等级、幕和敌人类型索引的局后摘要,提供基于案例的回忆。
- L5 技能库:从日志中提炼的触发性策略指南,每个都带有明确的触发器、文本策略和四级写入门控。检索由条件匹配触发,而非原始日志相似度。
只有L4和L5可以在运行后写入,限制了什么信息能在决策间持久存在。
为了进一步限制LLM的使用,调度器将决策路由到四个模型层级:快速(简单战斗计划)、战略(普通决策)、分析(局后记忆提取)和进化(技能提炼)。战斗是最频繁的决策类型,使用一个局部对话对象,每轮最多三条消息(combat_start、ok和最新状态);较早的轮次被总结到类型状态中,而非追加。结合快速层级路由和机械处理,每次运行的中位战略LLM调用次数为67次,而不是每个游戏中动作一次。
技能发现以两种模式填充L5。在错误驱动的自我进化中,相对于每个敌人基线的战斗失败会触发写前A/B重采样检查(严格的三分之二一致且无有害决策),随后是四级写入门控,应用余弦相似度和Jaccard相似度过滤器、LLM评判以及可选的修剪。大多数候选技能被拒绝或合并,而非作为新技能添加。在模式B中,一个填充存根模板的创作过程为战斗、Boss、卡组构建、地图和幕间决策填写五个角色参数模板,并带有命名空间隔离、库锁定和仅警告验证器。模式B达到了与人类编写的种子库同等水平,允许评估将技能层的存在与具体的文本来源分开。
由于上下文通过命名槽到达模型,该架构支持清晰的消融:提示严格性、规则检索、情节和战略技能可以独立切换。这种有界类型契约将记忆接口设计转变为评估对象,将其与不断增长的转录记录解耦,并允许将性能提升追溯到特定层。
实验
评估设置将固定难度下的表现分解为五个条件,探究冻结技能/情节堆栈的跨主干转移,并使用自动模式阶梯来衡量攀登上限。L₅技能层驱动了最大的观察收益,而情节L₄在单一难度下饱和,但当启用局后写入时支持更长周期的阶梯攀登。冻结堆栈的转移与主干敏感,与开源累积上下文agent的直接比较显示,有界类型化检索契约以更少的运行次数获胜,同时消耗的token数量级更低,确立了记忆接口作为一个可隔离且可测量的设计对象。
一个有界类型化记忆契约保持每次决策上下文平坦(中位约5k token),而基于转录回放的agent在单次运行中提示从约9k token增长到500k token。在同一主干、角色和进阶等级下评估时,两个公开可用的转录累积agent每单位游戏进度的token消耗高出一个到两个数量级,甚至低于无存储有界基线。这表明记忆接口是一个可评估的设计对象,类型化槽位实现了特定层的归因,并将记忆与累积状态解耦。基于转录的agent的每次调用提示在运行内从约9k token膨胀到500k token,而有界类型契约将战略消息保持在中位约5k token的恒定水平。转录累积agent每点游戏进度的token消耗比甚至无存储有界基线高出一个到两个数量级,表现远低于后者。
在此固定消融中,技能脚手架agent始终优于无脚手架agent,所有三个脚手架配置均赢得10局中的6局,而无脚手架只赢得3或4局。L5技能层贡献了在同一框架内观察到的最大提升,比仅提示基线多赢两局。有界契约将战略提示大小稳定维持在约5k token,与转录累积方法形成鲜明对比,后者每次调用增长到数十万token。无脚手架和仅提示条件最多赢得10局中的4局,而每个技能脚手架条件达到6胜。添加L5技能层在相同提示严格性下比仅提示基线提高了+2/10胜率。有界契约保持战略消息大小约5k token,而外部累积上下文agent每点进度消耗的token高出一到两个数量级。无脚手架与技能脚手架之间的差距仅具方向性;基于现有样本量的Fisher精确检验未得出统计显著性。
冻结的Gemini训练的技能堆栈的跨主干转移产生不同结果:Qwen的平均分大幅提高,而DeepSeek的得分下降,两者均未赢得任何比赛。转移的冻结技能与手工编写技能保持竞争力,表明技能堆栈对主干敏感,转移是一种经验性质而非保证。相同的Gemini训练L4+L5堆栈显著提升了Qwen的平均分,但使其胜场数保持在零。将该堆栈应用于DeepSeek则降低了其平均分,显示冻结技能转移可能降低某些主干上的性能。冻结模板填充的技能达到了与手工编写技能相同的胜率估计,确认其在共享接口内的竞争力。L4层未改变A0的胜率点估计,表明在此处饱和,但它仍继续支持更长周期的阶梯任务。
实验将有界类型化记忆契约与转录累积agent进行比较,消融技能脚手架,并测试冻结技能堆栈在不同主干间的转移。基于转录的agent遭受严重的提示膨胀,每局游戏进度的token消耗高出多个数量级,而有界契约将战略提示稳定在约5k token,证明记忆接口是一个关键的设计杠杆。技能脚手架agent始终优于无脚手架基线,L5层驱动了最大的胜率提升,尽管差异不具统计显著性,跨主干转移显示冻结技能堆栈仍保持竞争力,但会导致依赖主干的结果,有时在未获胜利的情况下提高平均分,有时则降低性能。