3 个月前

FinQA:面向金融数据的数值推理数据集

FinQA:面向金融数据的数值推理数据集

摘要

财务报表的海量数据使得人类难以高效获取并分析企业的财务信息。在这一领域,强大的数值推理同样面临独特的挑战。本文聚焦于对财务数据提出深层次问题并进行回答,旨在实现对大规模财务文档的自动化分析。与现有通用领域任务不同,金融领域不仅包含复杂的数值推理,还涉及对异构表达形式的理解。为推动分析研究的进展,我们提出一个全新的大规模数据集——FinQA,该数据集包含由金融专家撰写的财务报告问答对,并附有标注的黄金推理程序,以确保结果的完全可解释性。此外,我们还提出了基线模型,并在该数据集上开展了全面的实验。实验结果表明,当前主流的大规模预训练模型在获取金融知识以及基于该知识进行复杂多步数值推理方面,与专业人类专家相比仍存在显著差距。因此,作为该领域首个此类数据集,FinQA将有力推动社区在复杂应用领域开展深入研究。相关数据集与代码已公开,可通过以下链接获取:https://github.com/czyssrs/FinQA。

代码仓库

czyssrs/finqa
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
question-answering-on-finqaFinQANet (BERT-large)
Execution Accuracy: 57.43
Program Accuracy: 55.52
question-answering-on-finqaFinQANet (RoBERTa-large)
Execution Accuracy: 65.05
Program Accuracy: 63.52
question-answering-on-finqaFinQANet (FinBert )
Execution Accuracy: 53.71
Program Accuracy: 51.71

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FinQA:面向金融数据的数值推理数据集 | 论文 | HyperAI超神经