摘要

近期的大型语言模型（LLM）如GPT-4和PaLM-2在解决基础数学问题（如GSM8K）方面取得了显著进展，准确率超过90%。然而，这些模型在解决需要特定领域知识（即定理）的更具挑战性的数学问题上的能力尚未得到充分研究。本文中，我们介绍了TheoremQA，这是首个以定理驱动的问题回答数据集，旨在评估人工智能模型应用定理解决复杂科学问题的能力。TheoremQA由领域专家精心整理，包含800个高质量问题，涵盖了来自数学、物理、电气工程与计算机科学（EE&CS）以及金融领域的350个定理（例如泰勒定理、拉格朗日定理、霍夫曼编码、量子定理、弹性定理等）。我们使用不同的提示策略（如思维链和程序链）对16种大型语言和代码模型进行了广泛评估。研究发现，GPT-4在解决这些问题方面的能力无与伦比，通过程序链提示策略达到了51%的准确率。所有现有的开源模型的准确率均低于15%，勉强超过随机猜测基线。鉴于TheoremQA的多样性和广泛的覆盖范围，我们认为它可以作为更好的基准来评估大型语言模型解决复杂科学问题的能力。数据和代码已发布在https://github.com/wenhuchen/TheoremQA。