摘要

对表格数据进行推理需要同时具备表格结构理解和广泛的表格推理技能。当前具有特定表格架构和预训练方法的模型在理解表格结构方面表现出色，但在需要多种表格推理技能的任务上仍面临挑战。在这项工作中，我们开发了ReasTAP，以证明无需复杂的特定表格架构设计，即可在预训练过程中注入高级别的表格推理技能。我们定义了7种表格推理技能，如数值运算、时间比较和合取（conjunction）。每种推理技能都对应一个示例生成器，该生成器根据采样模板合成针对半结构化表格的问题。我们将表格预训练任务建模为序列生成任务，并对ReasTAP进行预训练，使其能够生成精确的答案来回应这些合成示例。ReasTAP在四个基准数据集上进行了评估，涵盖了三个下游任务：1）WikiSQL和WTQ用于表格问答；2）TabFact用于表格事实验证；3）LogicNLG用于忠实的表格到文本生成。实验结果表明，ReasTAP在所有基准数据集上均达到了新的最先进性能，并在低资源设置下实现了显著改进。我们的代码已公开发布在https://github.com/Yale-LILY/ReasTAP。