4 个月前

InstructUIE:统一信息抽取的多任务指令调优

InstructUIE:统一信息抽取的多任务指令调优

摘要

大型语言模型通过阅读指导提示已经解锁了强大的多任务能力。然而,最近的研究表明,现有的大型模型在信息抽取任务上仍然存在困难。例如,gpt-3.5-turbo 在 Ontonotes 数据集上的 F1 分数仅为 18.22,远低于当前最先进的性能。在本文中,我们提出了一种基于指令调优的统一信息抽取框架 InstructUIE,该框架可以统一建模各种信息抽取任务并捕捉任务间的依赖关系。为了验证所提出的方法,我们引入了 IE INSTRUCTIONS,这是一个包含 32 个多样化信息抽取数据集的基准测试集,所有数据集均以统一的文本到文本格式呈现,并附有专家撰写的指令。实验结果表明,我们的方法在监督设置下达到了与 BERT 相当的性能,在零样本设置下则显著优于当前最先进的方法和 gpt-3.5。

代码仓库

基准测试

基准方法指标
zero-shot-named-entity-recognition-ner-on-1InstructUIE
AI: 49.0
Literature: 47.2
Music: 53.2
Politics: 48.2
Science: 49.3

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
InstructUIE:统一信息抽取的多任务指令调优 | 论文 | HyperAI超神经