摘要

将语言模型（LMs）应用于表格是一项具有挑战性的任务，因为二维表格与一维文本之间存在固有的结构差异，而这些语言模型最初就是为一维文本设计的。此外，在将线性化的表格应用于语言模型时，自注意力计算中通常设定的最大标记长度使得难以全面理解分布在大型表格中的上下文。为了应对这些挑战，我们提出了一种新的基于子表的问答框架——PieTa（Piece of Table）。PieTa 通过一个迭代过程将表格划分为较小的窗口，利用语言模型在每个窗口内选择相关单元格，并将这些单元格合并成一个子表。这种多分辨率方法能够在捕捉多行多列之间的依赖关系的同时，避免长上下文输入带来的限制。作为简单的迭代子表联合算法的具体实现，PieTa 在性能上超越了以往基于子表的问答方法。