4 个月前

科学排行榜构建中的任务、数据集、评估指标和数值分数的识别

科学排行榜构建中的任务、数据集、评估指标和数值分数的识别

摘要

虽然新任务和新数据集的快速涌现有助于推动社区在有趣的方向上开展活跃的研究,但跟踪不同领域和不同数据集上的大量研究活动可能会变得越来越困难。社区将极大地受益于一个能够自动汇总科学成果的系统,例如以排行榜的形式呈现。本文构建了两个数据集,并开发了一个框架(TDMS-IE),旨在从自然语言处理(NLP)论文中自动提取任务、数据集、度量和分数,从而实现排行榜的自动构建。实验结果表明,我们的模型大幅优于多个基线模型。该模型是朝着自动构建排行榜迈出的第一步,例如在自然语言处理领域。

代码仓库

基准测试

基准方法指标
scientific-results-extraction-on-nlp-tdms-expTDMS-IE
Macro F1: 8.8
Macro Precision: 9.5
Macro Recall: 8.6
Micro F1: 7.5
Micro Precision: 6.8
Micro Recall: 8.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
科学排行榜构建中的任务、数据集、评估指标和数值分数的识别 | 论文 | HyperAI超神经