AceMath-RewardBench 是一个用于评估数学奖励模型能力的基准数据集。该基准采用最佳 N 选 1（Best-of-N, N=8）的设置，涵盖以下 7 个数学推理数据集：GSM8K 、 Math500 、 Minerva Math 、 Gaokao 2023 En 、 OlympiadBench 、 College Math 和 MMLU STEM 。数据集旨在衡量奖励模型从多个候选解中选择正确解答的能力。 每个示例包含一个数学问题以及 64 个来自 8 种不同语言模型的解答尝试，这些解答质量各异。数据集提供了每个解答的真实评分，以及问题难度和主题领域等附加元数据。评估基准聚焦于两个标准：多样性（每个问题配备来自 8 个不同模型的 64 个回答）和鲁棒性（通过 100 个随机种子平均结果进行评估）。

数据集组成

• 数据集包含 7 个子集，对应不同的数学推理任务，具体问题数量如下：
• GSM8K：1319 个问题
• Math500：500 个问题
• Minerva Math：272 个问题
• Gaokao 2023 En：385 个问题
• OlympiadBench：675 个问题
• College Math：2818 个问题
• MMLU STEM：3018 个问题 每个示例的数据格式包含以下字段：question（数学问题文本）、 code（完整的模型解答列表）、 gt（标准答案）、 pred（从每个解答中提取的预测答案列表）、 score（布尔值列表，表示每个解答是否匹配标准答案）、 idx（索引）、 report（报告）、 gt_cot（标准答案的思维链）。 数据集的特性包括：多样性（64 个回答来自 8 个不同模型）和鲁棒性（使用 100 个随机种子从 64 个候选中随机抽取 8 个，并报告平均结果）。该数据集适用于评估数学奖励模型的性能，特别是在最佳 N 选 1 设置下的表现。 许可信息：本数据集采用 Creative Commons Attribution Non-Commercial 4.0 International (CC-BY-NC-4.0) 许可，仅供非商业用途使用。

Citation

@article{acemath2024,
title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
journal={arXiv preprint},
year={2024}
}