摘要

数学推理能力对于通用智能系统完成从购物到气候建模等各类任务至关重要。为评估并提升人工智能系统在该领域的表现，我们提出了LILA——一个统一的数学推理基准，涵盖23项多样化任务，从四个维度进行划分：（i）数学能力，如算术、微积分；（ii）语言形式，如问答、填空；（iii）语言多样性，如无语言、简单语言；（iv）外部知识，如常识、物理知识。我们通过扩展20个现有基准数据集，并收集任务指令与解答的Python程序形式，构建了本基准。该方式不仅获得正确答案，还提供了可解释的求解过程。此外，我们还引入了两个评估数据集，用于衡量模型在分布外数据上的表现以及对语言扰动的鲁棒性。最后，我们提出了BHASKARA——一个基于LILA训练的通用数学推理模型。重要的是，我们发现多任务学习可带来显著性能提升（相比单任务模型，F1分数平均相对提升21.83%），但表现最佳的模型仅达到60.40%的准确率，表明通用数学推理与理解能力仍有巨大提升空间。