一句话总结

作者提出轨迹增强策略优化（TAPO），一种自我蒸馏框架，通过从对比正确的与错误的 rollout 中构建显式的微反思轨迹，超越隐式 logit 层面对齐，保留模型直到失败点之前的错误推理，然后插入自然语言诊断和由正确参考引导的修正推理，从而提供细粒度、可解释的监督信号以改进大语言模型的推理能力。

核心贡献

• TAPO 将自我蒸馏从隐式分布对齐推进到显式轨迹构建，通过创建新轨迹，这些轨迹保留模型在失败点之前的错误推理，然后插入自然语言诊断和由同一 GRPO 采样组中的正确 rollout 引导的修正推理。
• 该方法结合了难度感知的 ZPD 候选选择、解耦优势估计和分布外 token 抑制，将这些微反思修正集成到单次策略梯度训练中，无需多轮循环或额外的教师模型。
• 在 AIME 2024、AIME 2025 和 HMMT 2025 上的评估显示，相较于 GRPO 和 OPSD 有一致的提升，DSR 和 ERR 分析证实了首次推理和错误纠正两方面的增益，同时消融研究验证了各个组件。

引言

在推理的强化学习中，GRPO 等算法为每个问题采样多个候选解以计算组相对优势，但正确与错误输出之间的对比仅在优势归一化中被隐式使用。自我蒸馏方法提供稠密的 token 级监督，却未提供从错误到纠正过渡的结构化表示，而多轮错误驱动方法会带来额外的生成代价或需要丰富的反馈，这在只有二元正确性信号的数学推理任务中是不可用的。作者提出 TAPO，它利用 GRPO 采样组中模型自身的错误前缀构建显式的微反思修正轨迹，将隐式对比信号转化为可学习的监督，教会模型在单次训练框架中诊断并从自身错误中恢复。

方法

作者提出轨迹增强策略优化（TAPO），一个将自我蒸馏从隐式分布对齐推进到显式轨迹构建的框架。核心思路是构建可学习的修正轨迹，这些轨迹锚定在模型自身的错误中，同时保持在其分布邻域内。

在 RL 训练之前，作者执行一个冷启动阶段，使模型具备遵循结构化轨迹构建提示并分析自身错误的能力。该阶段通过采样响应、将其划分为正确与错误组并构建微反思修正轨迹，来构建训练示例。

在 RL 训练期间，模型对同一查询产生正确与错误的 rollout。TAPO 通过微反思轨迹构建利用这种对比结构，如下图所示：

首先，难度感知候选选择（DCS）识别处于模型最近发展区（ZPD）内的查询。若查询至少有 $n_{\text{pos}}$npos​ 个正确响应和 $n_{\text{neg}}$nneg​ 个错误响应，则该查询符合条件。这一条件自然地将问题划分为已掌握、ZPD 和超越能力区域，随着模型的改进形成涌现式课程。对于符合条件的查询，错误响应与正确参考进行配对。

接下来，轨迹合成构建一个提示，呈现原始问题、错误响应和正确参考。模型被指示分析错误并构建修正轨迹。这条微反思轨迹保留模型在失败点之前的错误推理，插入自然语言诊断和修正推理，并继续得出最终答案。

为将这些轨迹集成到基于优势的 RL 中，作者引入解耦优势估计（DAE）。将构建的轨迹附加到原始组会使组平均奖励膨胀，导致优势污染并惩罚响应长度。为解决此问题，原始组 $\mathcal{G}_{\text{orig}}$Gorig​ 和反思组 $\mathcal{G}_{\text{ref}}$Gref​ 的优势被独立计算。原始组中每个响应的优势计算为：

$$A _ { i } ^ { \mathrm { o r i g } } = \frac { r _ { i } ^ { \mathrm { o r i g } } - \mu _ { \mathcal { G } _ { \mathrm { o r i g } } } } { \sigma _ { \mathcal { G } _ { \mathrm { o r i g } } } + \epsilon }$$Aiorig​=σGorig​​+ϵriorig​−μGorig​​​

类似地，反思组的优势：

$$A _ { j } ^ { \mathrm { r e f } } = \frac { r _ { j } ^ { \mathrm { r e f } } - \mu _ { \mathcal { G } _ { \mathrm { r e f } } } } { \sigma _ { \mathcal { G } _ { \mathrm { r e f } } } + \epsilon }$$Ajref​=σGref​​+ϵrjref​−μGref​​​

最终训练损失结合两组：

$$\mathcal { L } _ { \mathrm { T A P O } } = \mathcal { L } _ { \mathrm { G R P O } } ( \mathcal { G } _ { \mathrm { o r i g } } ) + \lambda \cdot \mathcal { L } _ { \mathrm { r e f } } ( \mathcal { G } _ { \mathrm { r e f } } )$$LTAPO​=LGRPO​(Gorig​)+λ⋅Lref​(Gref​)

最后，为保持优化稳定，作者对反思轨迹损失施加分布外 Token 抑制（OTS）。由于构建过程可能产生偏离模型自然生成分布的 token，对每个 token $y_t$yt​ 计算分布对齐分数：

$$s _ { t } = \log p _ { \theta } ( y _ { t } | \mathbf { x } , \mathbf { y } _ { < t } ) + H [ p _ { \theta } ( \cdot | \mathbf { x } , \mathbf { y } _ { < t } ) ]$$st​=logpθ​(yt​∣x,y<t​)+H[pθ​(⋅∣x,y<t​)]

该分数被转换为乘法权重 $w_t$wt​，对分布外修正 token 进行降权，同时保留分布内推理部分的学习信号。反思轨迹损失随后计算为：

$$\mathcal { L } _ { \mathrm { r e f } } = - \frac { 1 } { T } \sum _ { t = 1 } ^ { T } w _ { t } \cdot \operatorname* { m i n } \left( \rho _ { t } \cdot A ^ { \mathrm { r e f } } , \ \mathrm { c l i p } ( \rho _ { t } , 1 - \epsilon , 1 + \epsilon ) \cdot A ^ { \mathrm { r e f } } \right)$$Lref​=−T1​t=1∑T​wt​⋅min(ρt​⋅Aref, clip(ρt​,1−ϵ,1+ϵ)⋅Aref)

实验

评估将 TAPO 与 GRPO 和 OPSD 在 AIME 和 HMMT 数学基准上使用 Qwen3-8B-Instruct 进行对比，包含冷启动初始化与不包含冷启动初始化的设置。冷启动的 TAPO 通过内化错误纠正能力带来一致提升，体现为直接解答率和有效反思率的双重提高。消融研究证实，保留正确前缀、解耦优势、负样本和分布外 token 抑制都是必不可少的；训练动态显示冷启动预对齐可防止策略漂移并实现稳健优化。

作者通过测量直接解答率和有效反思率来评估所提方法是否内化了真正的错误纠正能力。结果表明，该方法在所有基准上均显著优于基线，在两个指标上均有体现，表明在修正轨迹上训练强化了首次推理和从错误中成功恢复的能力。该方法在所有评估基准上实现了直接解答率的显著提升，展现出无需显式反思的更强首次推理能力。有效反思率在所提方法中始终更高，显示当模型进行自我纠正时，更有可能准确诊断并修复错误。在最难的基准上，首次推理的增益最为明显，表明修正训练对复杂任务特别有益。

作者在富有挑战性的数学推理基准上评估 TAPO，将其与 GRPO 和 OPSD 基线在直接训练和冷启动初始化设置下进行比较。结果显示，采用冷启动初始化的 TAPO 在所有基准和采样次数上始终取得最高通过率，表明真正的能力增强。然而，若不进行冷启动初始化，TAPO 在较难基准上表现不佳，突显了初始监督微调阶段对轨迹构建的重要性。冷启动的 TAPO 在三个数学基准上均取得了最佳首次准确率，优于 GRPO 和 OPSD 基线。TAPO 的性能增益在多次采样尝试中持续保持，表明是稳健的能力增强而非单路径方差降低。无冷启动初始化的直接训练结果混合，TAPO 在更困难的基准上不如 GRPO。

作者进行消融研究以验证 TAPO 流程中每个集成组件的必要性，逐步向冷启动基线添加解耦优势估计、负样本和 OOD Token 抑制。结果显示，完整的 TAPO 配置在所有评估的数学推理基准上始终取得最高性能。该研究强调，虽然解耦优势估计与负样本的交互因基准而异，但 OOD Token 抑制通过防止模型从分布距离较远的 token 学习提供了持续增益。完整的 TAPO 流程在所有基准上优于所有消融变体，证明了各集成组件的累积收益。OOD Token 抑制持续提升性能，确认重构轨迹包含在均匀加权下对学习有害的分布外 token。解耦优势估计与负样本的交互因基准而异，负样本作为必要的平衡力量，防止在某些任务上偏向修正轨迹。

作者进行消融研究以评估 RL 优化和微反思轨迹设计的贡献。结果表明，采用微反思构建的 TAPO 优于所有变体，证明基于优势的 RL 相比监督模仿提供了有意义的优势，且保留学习者的部分推理路径对有效学习至关重要。RL 优化在相同轨迹数据上显著优于监督微调，使模型能区分有效和无效的纠正。完全重构在所有基准上不如微反思构建，验证了保留有效推理前缀对可学习性至关重要。完整 TAPO 配置在所有基准上取得最高性能，确认 RL 优化和前缀保留两者不可或缺。

作者研究了方法对候选选择机制参数变化的敏感性，具体是 ZPD 阈值和最大构建数量。结果表明，该方法对适度的参数变化较为鲁棒，默认配置在所有基准上均表现一致。调整构建数量和阈值紧度显示，构建数量是维持性能的关键因素。默认参数配置在三个基准中的两个上取得了最高首次准确率，并在所有基准上取得了最佳总体准确率。减少每个查询的最大构建数量导致性能明显下降，而当构建数量增加时，性能大部分恢复。收紧选择阈值以聚焦于较窄的高置信度查询，在最近的竞赛基准上实现了最佳首次准确率。

评估设置使用具有挑战性的数学推理基准，测量直接解答率、有效反思率以及多次采样相对于 RL 基线的通过率。在修正轨迹上训练同时强化了首次推理和自我纠正，在最难的任务上增益最大，且冷启动初始化对困难基准至关重要。消融研究确认，结合 RL 优化、微反思轨迹保留和 OOD Token 抑制的完整 TAPO 流程始终优于消融变体，参数敏感性测试显示出鲁棒性并突出了构建数量的重要性。