一句话总结

作者提出了 BETAPRM，一种分布过程奖励模型，它通过基于蒙特卡洛延续训练的 Beta 信念框架预测步骤级成功概率和可靠性，而不是将有限样本的成功比率作为点目标进行回归，从而实现用于 Best-of-N 推理的自适应计算分配，以区分可靠奖励和不确定奖励，并在四个骨干网络和四个推理基准测试上提升了选择性能，同时保持了标准的步骤级错误检测。

引言

过程奖励模型为推理任务提供步骤级反馈，作为测试时扩展和策略优化的关键接口。然而，现有模型仅为每个步骤输出单个点估计，迫使下游方法将不完美的预测视为可靠信号而不量化不确定性。训练监督通过依赖有噪声的有限样本估计作为固定目标而不是考虑采样方差进一步加剧了这一问题。为了解决这些问题，作者提出了 BETAPRM，一种分布奖励模型，它使用 Beta-二项式似然预测步骤级成功概率以及该估计的可靠性。这种学习到的可靠性信号实现了自适应计算分配，它根据置信度动态调整推理预算以提高准确率，同时减少 token 使用量。

数据集

实验

在每个标记处，模型使用奖励 token Yes 和 No 的归一化 Yes 概率对步骤进行评分。对于标准 PRM 基线，候选项按平均奖励排名，

$$S _ { \mathrm { P R M } } ( y ) = \frac { 1 } { T } \sum _ { t = 1 } ^ { T } \mu _ { t } .$$SPRM​(y)=T1​t=1∑T​μt​.

对于 BETA$PRM$PRM，本文还提取浓度 $\kappa_{t}$κt​ 并计算 Beta 标准差

$$\sigma _ { t } = \sqrt { \frac { \mu _ { t } ( 1 - \mu _ { t } ) } { \kappa _ { t } + 1 } } .$$σt​=κt​+1μt​(1−μt​)​​.

本文使用主要实验中的风险预算选择器对候选项进行排名：

$$S _ { \mathrm { R B } } ( y ) = \frac { 1 } { T } \sum _ { t = 1 } ^ { T } \mu _ { t } - \lambda \frac { 1 } { T } \sum _ { t = 1 } ^ { T } \mathbf { 1 } [ \sigma _ { t } > \tau ] .$$SRB​(y)=T1​t=1∑T​μt​−λT1​t=1∑T​1[σt​>τ].

惩罚权重 $\lambda$λ 和不确定性阈值 $\tau$τ 从所有报告的 BETAPRM 运行的相同小固定网格中选择：$\lambda \in \{0.2, 0.5, 0.7, 1.0, 1.5\}$λ∈{0.2,0.5,0.7,1.0,1.5}，其中 $\tau$τ 由步骤级 $\sigma_t$σt​ 的第 $q$q 个百分位数设定，$q \in \{0.7, 0.8, 0.9\}$q∈{0.7,0.8,0.9}。

19. A.4 VisualProcessBench 评估协议

本文在 VisualProcessBench [63] 上评估步骤级错误检测。对于每个实例，本文将问题与提供的逐步推理依据拼接，并在每个步骤后插入 标记，使用与 PRM 训练相同的输入格式。模型在每个标记处产生一个分数，然后将其转换为对应步骤是否正确或错误的二元预测。计算指标时忽略中性标签。

对于标准 PRM 基线，步骤分数是归一化 Yes 概率 $\mu_t$μt​。对于 BETAPRM，本文使用相同的奖励均值以及学习到的浓度来计算 $\sigma_t = \sqrt{\mu_t(1 - \mu_t)/(\kappa_t + 1)}$σt​=μt​(1−μt​)/(κt​+1)​，并评估风险调整步骤分数 $s_t = \mu_t - \lambda\sigma_t$st​=μt​−λσt​，其中 $\lambda = 0.5$λ=0.5。这以与下游选择实验相同的方向使用可靠性信号：不确定但看似正确的步骤评分更保守。

给定阈值 $\tau_{\mathrm{cls}}$τcls​，$s_{t} \geq \tau_{\mathrm{cls}}$st​≥τcls​ 的步骤被分类为正确，低于阈值的步骤被分类为错误。遵循基准测试协议 [63]，本文通过遍历 $\tau_{\mathrm{cls}}$τcls​ 并最大化整体验证 F1 为每个模型选择一个全局阈值。本文报告 VisualProcessBench 上的整体分数和每个来源的宏观 F1 细分。

20. A.5 自适应计算分配详情

ACA 在与固定预算基线相同的最大 Best-of-16 预算下进行评估。对于每个问题，ACA 首先从头采样 $n_0 = 4$n0​=4 个完整候选项。如果停止准则未

满足，则分配另一批 $m=4$m=4 个候选项，直到达到最大预算 $N=16$N=16。所有新候选项均由 InternVL2.5-8B 生成，解码参数与固定预算 Best-of-16 基线相同：温度 0.7，top-$p=0.9$p=0.9，top-$k=30$k=30 和最大新 tokens 2048。

在每个阶段，候选项由 ACA 停止规则中使用的线性风险调整分数评分。

$$S _ { \mathrm { l i n } } ( y ) = \frac { 1 } { T } \sum _ { t = 1 } ^ { T } ( \mu _ { t } - \lambda \sigma _ { t } ) ,$$Slin​(y)=T1​t=1∑T​(μt​−λσt​),

其中 $\lambda = 0.5$λ=0.5。置信度界限使用 $U(y) = T^{-1} \sum_t \sigma_t$U(y)=T−1∑t​σt​，其中 $c_{\text{stop}} = 0.3$cstop​=0.3。当 ACA 继续时，它扩展最高 UCB 非获胜竞争者。对于前缀修复，本文使用 $p_{\text{bad}} = 0.3$pbad​=0.3 作为低质量阈值，并在保守步骤分数 $\mu_t - c_{\text{cut}} \sigma_t$μt​−ccut​σt​ 中使用 $c_{\text{cut}} = 1.0$ccut​=1.0。

对于主要 ACA 结果，最终候选项选择使用与 Best-of-16 评估相同的风险预算选择器 $S_{\text{RB}}$SRB​。对于表中的 ACA 消融，所有变体改用共享线性分数 $S_{\text{lin}}$Slin​，对于仅奖励的标准 PRM 基线，$\sigma_t = 0$σt​=0。这将消融聚焦于不确定性来源。

该表评估了提出的 BETAPRM 方法作为四个不同视觉语言模型骨干网络和四个数学基准测试上 Best-of-N 推理的解决方案选择器。结果表明，BETAPRM 在每个配置中均实现了最高的最终答案准确率，优于标准过程奖励模型 (PRM) 基线和未训练的基础模型。BETAPRM 在所有评估的模型骨干网络和数学推理基准测试上的最终答案准确率方面始终优于标准 PRM 基线。与标准 PRM 等其他训练策略相比，该方法实现了相对于单次通过基线的最高平均改进。结合学习到的不确定性估计使 BETAPRM 能够选择优于仅依赖平均过程奖励的方法的候选项。

作者通过比较完整的 BETAPRM 模型与其变体来评估辅助证据正则化器的贡献。结果表明，完整模型在所有基准测试上始终实现了更高的准确率。这一发现表明，正则化器有效校准了模型的浓度估计，从而为候选项选择提供更可靠的不确定性信号。完整的 BETAPRM 模型在所有基准测试上优于没有正则化器的版本。移除正则化器导致在评估的数据集上准确率一致下降。辅助正则化器改进了用于可靠性估计的浓度参数的校准。

该实验使用不同不确定性来源评估自适应计算分配 (ACA) 策略，跨越两个模型骨干网络。结果表明，利用学习到的不确定性的 BETAPRM 的 ACA 通过实现更高的准确率和更低的 token 消耗，始终优于标准 PRM 基线。虽然仅奖励变体最小化了 token 使用量，但与感知不确定性的方法相比，它牺牲了显著的准确率。具有 BETAPRM（学习到的不确定性）的 ACA 在所有基准测试和骨干网络上实现了高准确率和低 token 使用的最佳平衡。具有代理不确定性的标准 PRM 始终需要更多 tokens 并产生较低的准确率，与学习到的不确定性变体相比。仅奖励分配策略生成的 tokens 最少，但导致最低的准确率分数，证明了显式不确定性估计的价值。

作者将自适应计算分配 (ACA) 与标准 Best-of-N 基线进行比较，以评估推理效率和准确率。结果表明，ACA，特别是与早停结合时，始终实现了更高的准确率，同时在多个基准测试和模型骨干网络上显著减少了生成的 token 数量。完整的 ACA 方法在两个模型骨干网络的所有四个基准测试上始终实现了最高的准确率分数。与原始基线相比，自适应计算分配大幅减少了推理所需的 token 数量。结合自适应分配与早停比使用无早停的自适应分配产生更好的性能。

该研究评估了用于四个视觉语言骨干网络上 Best-of-N 选择的过程奖励模型。结果表明，提出的 BETAPRM 方法提高了相对于未训练基础模型和标准 PRM 基线的选择准确率。该方法有效利用不确定性估计以增强多样化数学基准测试上的性能。BETAPRM 提高了所有评估骨干网络上 Best-of-N 选择准确率。与标准 PRM 和未训练基线相比，该方法实现了更高的准确率。性能增益在多个数学推理基准测试上是一致的。

该研究评估了 BETAPRM 方法在多个视觉语言骨干网络和数学基准测试上的表现，以验证其作为 Best-of-N 推理解决方案选择器的有效性。结果表明，利用学习到的不确定性估计和辅助证据正则化器使 BETAPRM 能够在最终答案准确率上始终优于标准 PRM 基线。此外，关于自适应计算分配的实验表明，将这种方法与早停结合通过显著减少 token 消耗同时保持优越性能来优化推理效率。