摘要

世界模型能够显著提升学习智能体在交互式、情境化环境中的高效运作能力。本文聚焦于构建文本游戏环境中的世界模型。文本游戏，或称交互式叙事，是一类强化学习环境，其中智能体通过自然语言文本感知并与环境进行交互。这类环境通常包含跨越数百个角色、地点和物体的复杂世界，以及需要多步推理才能解决的长周期谜题或任务。我们的世界模型能够同时实现以下两个目标：（1）在将世界表示为知识图谱的框架下，预测智能体行为所引发的世界状态变化；（2）生成在特定情境下所需的、语义相关的自然语言动作集合，以实现对环境的有效操作。我们通过利用知识图谱与动作序列的内在结构，将该任务建模为“序列集合生成”问题，并提出一种基于Transformer的多任务架构及相应的损失函数以实现训练。在从未见过的文本世界上的零样本消融实验表明，本方法显著优于现有的文本世界建模技术，同时验证了各项核心贡献的有效性与重要性。