一句话总结

这项工作系统地研究了大型推理模型（Large Reasoning Models），利用可控谜题环境分析内部推理轨迹，揭示出与当前强调最终答案准确性的评估不同，前沿 LRMs 在超过某些复杂度时会面临完全准确性崩溃，并表现出一种反直觉的扩展限制，即尽管 token 预算充足，推理努力却下降。

核心贡献

• 本文介绍了可控谜题环境，允许精确操纵组合复杂度，同时保持一致的逻辑结构。该设置使得能够分析内部推理轨迹及最终答案，提供关于大型推理模型如何思考的见解。
• 通过在多样化谜题上的大量实验，工作表明前沿大型推理模型面临完全准确性崩溃。这一证据解决了主要关注最终答案准确性而忽视推理轨迹质量的评估中的空白。
• 研究识别出一种反直觉的扩展限制，即推理努力随问题复杂度增加直至某一点，随后下降，尽管拥有充足的 token 预算。这一观察阐明了大型推理模型的基本能力和扩展属性，这些属性目前仍不够为人所知。

引言

大型推理模型（LRMs）已成为复杂问题解决的强大工具，通过在回答前生成详细的思考过程，但其基本能力和扩展属性仍不够为人所知。当前的评估范式依赖于既定的数学和编码基准，这些基准常受数据污染影响，且无法揭示内部推理轨迹的质量。为解决此问题，作者利用可控谜题环境，允许精确操纵问题复杂度，同时保持一致的逻辑结构。该设置使得能够对最终答案和推理轨迹进行系统分析，揭示出前沿 LRMs 在超过特定复杂度阈值时经历完全准确性崩溃，并表现出一种反直觉的扩展限制，即随着问题变难，推理努力反而减少。

数据集

作者构建了一个程序化评估基准，包含四个可控谜题环境以测试推理能力。该数据集并非源自静态语料库，而是基于特定复杂度参数动态生成。

• 数据集组成与来源

  • 基准包括汉诺塔、跳棋跳跃、过河问题和积木世界。
  • 难度通过调整盘数、跳棋数或积木数等参数控制。

• 每个子集的关键细节

  • 汉诺塔： 由 $N$N 个盘子定义。约束要求仅移动顶部盘子，且永远不能将大盘子放在小盘子上。
  • 跳棋跳跃： 由 $2n$2n 个跳棋（红蓝两色）定义。有效移动包括滑入相邻空格或跳过一枚异色跳棋，不可向后移动。
  • 过河问题： 由 $N$N 个 actor-agent 对定义。船容量 $k$k 设为 2（当 $N \le 3$N≤3 对时）和 3（对于更大的集合）。安全规则防止 actor 在没有其 own agent 的情况下与 foreign agents 共处。
  • 积木世界： 由 $N$N 个积木定义。初始状态按字母顺序将积木分为两堆。目标状态要求交错积木以强制完全拆卸和重新组装。

• 模型中的使用

  • 数据仅用于评估以测量 Pass@k 性能。
  • 作者将思考模型与非思考对应模型在变化复杂度级别上进行比较。
  • 未应用训练混合比例，因为重点在于推理时推理。

• 处理与验证

  • 自定义模拟器跟踪状态演变并验证每一步是否符合谜题约束。
  • 提示词包括系统指令、规则定义和用于解决方案输出的格式化示例。
  • 验证过程检查 peg 边界、盘子位置、移动类型和最终目标状态达成。

方法

提出的框架通过结合结构化提示与严格的基于模拟的验证来评估推理能力。对于汉诺塔、过河问题和积木世界等逻辑谜题，系统采用特定的系统提示词，定义规则、初始状态和目标配置。这些提示词明确指示模型生成移动序列，通常要求结构化格式，如元组列表或特定标签。为确保有效性，自定义模拟器集成到评估管道中。例如，过河模拟器强制执行关于 actor 和 agent 的安全约束，而积木世界模拟器验证仅移动最顶部的积木并检查堆栈边界。

评估过程涉及解析模型的生成以分离推理与最终结果。参考框架图以可视化此提取管道。

系统区分 <think> 标签内的推理轨迹和 <answer> 标签内的最终答案。从思考过程中提取的移动用于重建状态转换，映射从初始状态经中间状态到目标状态的序列。这允许对推理路径进行细粒度分析，区别于从答案块得出的最终准确性测量。相关图表展示了推理努力和准确性如何随问题复杂度扩展，表明更深的推理轨迹通常与正确答案相关。

为进一步支持复杂推理，该方法利用算法草稿纸。如下图所示：

此方法允许模型在生成中逐步模拟问题解决过程，在确定序列之前根据特定规则验证移动。例如，框架鼓励使用带有回溯的递归伪代码来探索潜在解决方案。这种结构化算法指导帮助模型在推理阶段遵守谜题约束，确保跳跃或积木转移等移动符合定义逻辑。

实验

该研究评估前沿大型推理模型与非推理对应模型，使用可控谜题环境系统分析性能随问题复杂度的变化。结果识别出三种不同的推理机制，其中推理模型在中等复杂度下表现出色，但在高复杂度下最终与标准模型一起崩溃，通常反直觉地减少推理努力。详细的轨迹分析揭示了在简单任务上低效的过度思考，以及无法执行规定的逻辑算法，表明当前的推理能力受限于训练数据的熟悉度，而非纯粹的计算复杂度。