3 个月前

NormTab:通过表格数据归一化提升LLM的符号推理能力

NormTab:通过表格数据归一化提升LLM的符号推理能力

摘要

近年来,大型语言模型(LLMs)在文本解析与代码生成任务中展现出卓越的能力。然而,在处理涉及表格数据的任务,尤其是需要符号推理的场景时,其性能往往受到网络表格中单元格值结构差异大、不一致等问题的制约。本文提出一种名为NormTab的新框架,旨在通过规范化网络表格来提升LLMs的符号推理能力。我们首次将表格规范化视为一个独立的、一次性预处理步骤,利用LLMs对表格数据进行标准化处理,以支持后续的符号推理任务。在WikiTableQuestion和TabFact等具有挑战性的网络表格数据集上的实验评估表明,引入NormTab能够显著提升符号推理性能,充分验证了网络表格规范化在增强基于LLM的符号推理任务中的重要性与有效性。

代码仓库

基准测试

基准方法指标
semantic-parsing-on-wikitablequestionsNormTab (Targeted) + SQL
Accuracy (Test): 61.20
table-based-fact-verification-on-tabfactNormTab (Targeted) + SQL
Test: 68.90

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
NormTab:通过表格数据归一化提升LLM的符号推理能力 | 论文 | HyperAI超神经