摘要

HuggingFace 数据集中心托管了数千个数据集，为语言模型的训练和评估提供了令人兴奋的机会。然而，针对特定任务类型的数据集通常具有不同的模式，这使得数据集的统一变得困难。多任务训练或评估需要人工工作来将数据适配到任务模板中。多个项目独立地解决了这一问题，通过发布统一的数据集或提供统一代码来预处理数据集，使其格式一致。我们分析了以往预处理工作的模式，例如列名映射和从列中的结构化数据中提取特定子字段。随后，我们提出了一种结构化注释框架，确保我们的注释完全公开，而不是隐藏在非结构化的代码中。我们发布了适用于超过500个英语任务的数据集注释框架及注释（参见网址：\url{https://github.com/sileod/tasksource}）。这些注释包括元数据，如所有数据集中用于输入或标签的列名，无论是否使用我们的框架，都可以节省未来数据集预处理的时间。我们在所有tasksource任务上对一个多任务文本编码器进行了微调，在外部评估中超越了所有公开可用的同规模文本编码器。