3 个月前

基于大语言模型的表格数据理解再思考

基于大语言模型的表格数据理解再思考

摘要

大型语言模型(LLMs)在多项任务中展现出强大能力,然而其在表格数据的解读与推理方面的能力仍是一个尚未充分探索的研究领域。本文从三个核心视角展开研究:LLM对表格结构扰动的鲁棒性、文本推理与符号推理在表格任务中的对比分析,以及通过整合多种推理路径提升模型性能的潜力。研究发现,尽管内容相同,表格结构的差异会导致模型性能显著下降,尤其在符号推理任务中表现尤为明显。为此,本文提出一种表格结构归一化方法以缓解该问题。此外,文本推理在整体表现上略优于符号推理,而详细错误分析表明,两类推理方式在不同任务中各具优势。值得注意的是,结合文本与符号推理路径,并引入混合自一致性(mix self-consistency)机制进行集成,显著提升了模型性能,在WIKITABLEQUESTIONS数据集上达到73.6%的准确率,远超以往基于LLM的表格处理方法,实现了当前最优(SOTA)水平,标志着该领域的重要进展。

代码仓库

Leolty/tablellm
官方
GitHub 中提及

基准测试

基准方法指标
semantic-parsing-on-wikitablequestionsMix SC
Accuracy (Dev): /
Accuracy (Test): 73.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于大语言模型的表格数据理解再思考 | 论文 | HyperAI超神经