
摘要
大型语言模型通过阅读指导提示已经解锁了强大的多任务能力。然而,最近的研究表明,现有的大型模型在信息抽取任务上仍然存在困难。例如,gpt-3.5-turbo 在 Ontonotes 数据集上的 F1 分数仅为 18.22,远低于当前最先进的性能。在本文中,我们提出了一种基于指令调优的统一信息抽取框架 InstructUIE,该框架可以统一建模各种信息抽取任务并捕捉任务间的依赖关系。为了验证所提出的方法,我们引入了 IE INSTRUCTIONS,这是一个包含 32 个多样化信息抽取数据集的基准测试集,所有数据集均以统一的文本到文本格式呈现,并附有专家撰写的指令。实验结果表明,我们的方法在监督设置下达到了与 BERT 相当的性能,在零样本设置下则显著优于当前最先进的方法和 gpt-3.5。
代码仓库
beyonderxx/instructuie
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| zero-shot-named-entity-recognition-ner-on-1 | InstructUIE | AI: 49.0 Literature: 47.2 Music: 53.2 Politics: 48.2 Science: 49.3 |