4 个月前

面向表格问答的准确且无悔数值问题求解器

面向表格问答的准确且无悔数值问题求解器

摘要

面向自由表格的问题回答(又称TableQA)是一项具有挑战性的任务,因为表格的结构灵活且模式复杂。近期的研究利用大型语言模型(LLMs)来完成这一任务,这些模型能够理解自然语言形式的问题以及包含大量文本字段的表格数据。尽管这种方法已经显示出令人鼓舞的结果,但它忽略了数值在表格数据中普遍存在所带来的挑战,而大型语言模型在处理这类数值时表现不佳。为了解决这一问题,我们提出了一种名为TabLaP的模型,该模型将大型语言模型用作规划器而非答案生成器。这种做法充分利用了大型语言模型在多步推理方面的能力,同时将实际的数值计算交由Python解释器进行精确计算。鉴于大型语言模型的不准确性,我们进一步首次尝试量化TabLaP生成答案的可信度,以便用户能够以减少遗憾的方式使用TabLaP。实验结果表明,在两个基准数据集上,TabLaP显著优于现有的最先进模型,分别提高了5.7%和5.8%的答案准确率。

代码仓库

yxw-11/tablap
官方
GitHub 中提及

基准测试

基准方法指标
semantic-parsing-on-wikitablequestionsTabLaP
Accuracy (Dev): /
Accuracy (Test): 76.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向表格问答的准确且无悔数值问题求解器 | 论文 | HyperAI超神经