* 该数据集支持在线使用，点击此处跳转。

HelpSteer2 是一个由英伟达和 Scale AI 于 2024 年合作创建的开源数据集，旨在训练能够指导大型语言模型 (LLMs) 生成符合人类偏好的高质量回答的奖励模型，相关论文成果为「HelpSteer2: Open-source dataset for training top-performing reward models」。它是在 HelpSteer 数据集的基础上进行的更新，以适应当前更强大的 LLMs 。 HelpSteer2 包含约一万对回答，尽管数量上比现有的偏好数据集少一个数量级，但它在训练奖励模型方面非常高效。 该数据集的收集过程包括从 ShareGPT 平台获取提示，并使用内部强大的基础模型生成回答。回答的注释过程要求至少三名注释者对每个回答进行注释，以提高注释质量。 HelpSteer2 的统计数据显示，与 HelpSteer 数据集相比，模型回答在有用性、正确性、连贯性、复杂性和冗长性方面的得分更高。 HelpSteer2 数据集在训练奖励模型方面非常有效。例如，使用 HelpSteer2 训练的 Llama 3 70B 模型在 Reward-Bench 的主要数据集上取得了 92.0% 的得分，超过了截至 2024 年 6 月 12 日列出的所有公开和专有模型。此外，研究团队还提出了 SteerLM 2.0 模型对齐方法，可以有效地利用奖励模型预测的丰富多属性评分。

Citation

@misc{wang2024helpsteer2preferencecomplementingratingspreferences,
title={HelpSteer2-Preference: Complementing Ratings with Preferences},
author={Zhilin Wang and Alexander Bukharin and Olivier Delalleau and Daniel Egert and Gerald Shen and Jiaqi Zeng and Oleksii Kuchaiev and Yi Dong},
year={2024},
eprint={2410.01257},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2410.01257},
}
@misc{wang2024helpsteer2,
title={HelpSteer2: Open-source dataset for training top-performing reward models},
author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
year={2024},
eprint={2406.08673},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}