
摘要
基于表格的推理在结合深度模型与离散推理方面取得了显著进展,这需要对自由形式的自然语言(NL)问题和结构化的表格数据进行推理。然而,先前的基于表格的推理解决方案通常在处理大规模证据(表格)时性能显著下降。此外,大多数现有方法在处理复杂问题时也面临困难,因为所需信息分散在不同的地方。为了解决上述挑战,我们利用大型语言模型(LLMs)作为分解器以实现有效的基于表格的推理,具体而言:(i) 将大规模证据(大表)分解为子证据(小表),以减少无用信息对表格推理的干扰;(ii) 将复杂问题分解为更简单的子问题,以便进行文本推理。具体来说,我们首先使用大型语言模型来拆分当前问题中涉及的证据(表格),保留相关证据并从大表中排除其余无关证据。此外,我们提出了一种“解析-执行-填充”策略,通过在每一步中解耦逻辑和数值计算来缓解思维链中的幻觉困境。大量实验表明,我们的方法能够有效利用分解后的证据和问题,并在TabFact、WikiTableQuestions和FetaQA数据集上超越了强大的基线模型。值得注意的是,我们的模型首次在TabFact数据集上超过了人类的表现。
代码仓库
google-research/chain-of-table
GitHub 中提及
alibabaresearch/damo-convai
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semantic-parsing-on-wikitablequestions | Dater | Accuracy (Dev): 64.8 Accuracy (Test): 65.9 |
| table-based-fact-verification-on-tabfact | Dater | Test: 93.0 |