摘要

基于Transformer的大型语言模型（LLMs）受限于底层Transformer架构的固定上下文窗口，难以生成长篇且连贯的输出。尽管引入记忆增强机制的LLM被视为一种有前景的解决方案，但现有方法在处理长序列输出任务时仍存在明显局限：其一，仅关注记忆读取，将记忆演化简化为新记忆的拼接；其二，依赖高度专用化的记忆结构，难以适应其他领域。本文提出L2MAC——首个基于LLM的通用存储程序自动计算机（冯·诺依曼架构）框架，是一种基于多智能体系统的LLM架构，专为生成长篇且一致的输出而设计。该框架的内存系统包含两个核心组件：指令寄存器（instruction registry），用于存储解决用户指定任务的提示程序；以及文件存储（file store），用于保存最终结果与中间输出。每个指令由独立的LLM智能体执行，其上下文由一个控制单元进行管理，该单元具备精确的内存读写能力，确保与文件存储之间的高效交互。上述设计使L2MAC能够生成超长输出，突破有限上下文窗口的限制，同时保证输出满足复杂用户指定的任务需求。实验结果表明，L2MAC在系统设计任务中生成大型代码库方面达到了当前最优性能，显著优于其他编码方法在实现详细用户需求任务上的表现；我们进一步验证了L2MAC在通用长文本任务中的适用性，例如完整撰写一本书；同时，本文还提供了关于L2MAC相较现有方法性能提升的关键洞见。