一句话总结

作者提出了 POLY-EPO，这是一种利用集合强化学习和修改的优势计算来为语言模型设计的后训练框架，旨在生成在奖励函数下集体准确且具备探索性推理的响应集合，从而协同探索与利用，通过更高的 pass@$k$k 覆盖率改善泛化能力，保持生成多样性，并在推理基准上随测试时计算有效扩展。

核心贡献

• 提出了一种用于语言模型后训练的框架，旨在明确鼓励乐观探索，同时促进探索与利用之间的协同。该方法训练模型生成在奖励函数下集体准确且推理策略具有探索性的响应集合。
• 该工作开发了一种通用方案，用于在任意目标函数下通过集合强化学习优化语言模型，这是通过对标准算法的优势计算进行修改而实现的。这展示了如何将标准强化学习算法适应于此场景。
• 引入了多色探索策略优化（POLY-EPO），作为该框架的一个实例，它通过平均奖励与多样性之间的协方差直接在优势函数中编码协同作用。在推理基准上的实验表明，该方法改善了泛化能力，提高了 pass@$k$k 覆盖率，并随测试时计算有效扩展。

引言

探索对于语言模型解决复杂推理任务以及随测试时计算有效扩展至关重要。然而，标准的强化学习微调通常会将生成多样性坍缩到狭窄的高奖励行为上。先前的方法试图通过添加探索奖励来解决这个问题，但它们将探索和利用视为需要仔细调整超参数的独立目标。作者引入了多色探索策略优化（POLY-EPO），这是一个利用集合强化学习来集体优化响应集合的框架。该方法通过将平均奖励与策略多样性之间的协方差直接编码到优势函数中，明确协同了探索和利用。因此，该方法鼓励对新颖推理策略进行乐观探索，并改善了 pass@k 等泛化指标。

方法

作者介绍了多色探索策略优化（POLY-EPO），这是一种旨在使用集合强化学习框架优化语言模型的方法。该方法通过将奖励分配给采样的生成集合而不是独立分配给每个生成，从而泛化了标准强化学习。核心目标是平衡探索和利用，鼓励模型发现多样化的推理策略同时保持准确性。

该框架始于集合级目标函数。对于给定的提示，策略采样一组 $n$n 个生成。集合级奖励函数 $f$f 应用于整个集合，在共享学习信号下耦合所有生成。为了有效地优化此目标，作者推导了一个可处理的梯度估计器。对于每个提示，采样 $N$N 个独立生成，其中 $N$N 大于集合大小 $n$n。从这些样本中，组合构建 $K$K 个大小为 $n$n 的集合。为每个构建的集合计算集合级分数，并将基准建立为所有集合分数的平均值。特定集合的优势是其分数与该基准之间的差异。

为了将其与标准强化学习算法集成，为每个独立生成定义了边际集合优势。该值计算为包含该特定生成的所有集合的平均优势。这种构造允许该方法通过使用边际集合优势替换标准优势函数来使用现有的策略梯度算法，例如 PPO 或 GRPO。生成 $y$y 的边际集合优势定义为：

其中 $\mathcal{G}(y)$G(y) 代表包含生成 $y$y 的所有集合的集合。所得估计器是无偏的，并且随样本数量有效扩展。

POLY-EPO 中优化的特定目标是多色目标。该函数定义为集合中生成的平均奖励与多样性度量的乘积。数学公式确保集合必须同时优化探索和利用，因为分数取决于这两个因素的乘积。多色目标表示为：

如果奖励或多样性任一较低，总体分数都会降低。

多样性使用语言模型裁判根据潜在的推理策略对响应进行聚类来测量。裁判根据宏观和微观策略对生成进行分组，同时忽略表面的文本差异。集合的多样性计算为集合中表示的不同簇的数量除以集合大小。表现出奖励黑客行为或无意义行为的退化生成被隔离到专用簇中，并从多样性计算中排除，以确保鲁棒性。

最终训练算法遵循标准的在线策略更新循环。模型为一批提示采样生成，构建集合，计算多色分数，并推导边际集合优势。然后使用这些优势更新策略参数。此过程优先考虑简单性和可扩展性，利用现代后训练管道中已有的基础设施，同时引入集合级信用分配的好处。

实验

实验在数学推理基准和具有可验证奖励的合成领域上评估 POLY-EPO，以评估其探索机制是否提高了推理性能。在数学任务中，与遭受策略坍缩的基线相比，POLY-EPO 展示了推理策略的优越多样性和对测试时计算的更好利用。合成领域结果进一步证实，POLY-EPO 发现的显著不同的成功策略比标准方法多，标准方法很快收敛到单一解决方案，验证了所提出的目标有效地平衡了探索和利用以增强泛化能力。