摘要

现有的表格表示学习工作通过使用从预训练语言模型（如BERT）派生的自监督目标函数，联合建模表格和相关文本。尽管这种联合预训练在涉及配对表格和文本的任务中（例如回答关于表格的问题）有所改进，但我们发现它在仅操作表格而不涉及任何相关文本的任务中表现不佳（例如填充缺失单元格）。为此，我们设计了一个简单的预训练目标（损坏单元检测），该目标仅从表格数据中学习，并在一系列基于表格的预测任务中达到了最先进的水平。与竞争方法不同，我们的模型（TABBIE）提供了所有表格子结构（单元格、行和列）的嵌入，并且其训练所需的计算资源远少于其他方法。对我们的模型所学得的单元格、列和行表示进行定性分析表明，该模型能够理解复杂的表格语义和数值趋势。