
摘要
大型语言模型(LLMs)在多项任务中展现出强大能力,然而其在表格数据的解读与推理方面的能力仍是一个尚未充分探索的研究领域。本文从三个核心视角展开研究:LLM对表格结构扰动的鲁棒性、文本推理与符号推理在表格任务中的对比分析,以及通过整合多种推理路径提升模型性能的潜力。研究发现,尽管内容相同,表格结构的差异会导致模型性能显著下降,尤其在符号推理任务中表现尤为明显。为此,本文提出一种表格结构归一化方法以缓解该问题。此外,文本推理在整体表现上略优于符号推理,而详细错误分析表明,两类推理方式在不同任务中各具优势。值得注意的是,结合文本与符号推理路径,并引入混合自一致性(mix self-consistency)机制进行集成,显著提升了模型性能,在WIKITABLEQUESTIONS数据集上达到73.6%的准确率,远超以往基于LLM的表格处理方法,实现了当前最优(SOTA)水平,标志着该领域的重要进展。
代码仓库
Leolty/tablellm
官方
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| semantic-parsing-on-wikitablequestions | Mix SC | Accuracy (Dev): / Accuracy (Test): 73.6 |