3 个月前

ITER:基于迭代Transformer的实体识别与关系抽取

ITER:基于迭代Transformer的实体识别与关系抽取

摘要

在从文本中提取结构化信息时,实体识别与关系抽取是两项关键任务。近年来,这两项任务的进展均采用自回归(autoregressive)方式生成结构化表示,但这种方法耗时且计算成本高昂。这自然引发了一个问题:是否必须依赖自回归方法才能获得相当的性能?为此,本文提出ITER——一种高效的基于编码器的关系抽取模型。该模型将任务分解为三个可并行执行的步骤,显著提升了效率。相较于近期的语言建模方法,ITER在单张消费级GPU上实现了超过每秒600个样本的推理吞吐量。此外,我们在ADE和ACE05两个关系抽取数据集上取得了当前最优(state-of-the-art)性能,并在命名实体识别任务上(使用GENIA与CoNLL03数据集)以及关系抽取任务(使用SciERC与CoNLL04数据集)均表现出具有竞争力的性能。

基准测试

基准方法指标
relation-extraction-on-ace-2005ITER
Cross Sentence: Yes
NER Micro F1: 91.6 ± 0.12
RE Micro F1: 75.1 ± 0.49
RE+ Micro F1: 71.9 ± 0.56
Sentence Encoder: FLAN T5 3B
relation-extraction-on-ade-corpusITER
NER Macro F1: 92.63 ± 0.89
RE+ Macro F1: 85.6 ± 1.42

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
ITER:基于迭代Transformer的实体识别与关系抽取 | 论文 | HyperAI超神经