3 个月前

一种令人沮丧的简单方法用于实体与关系抽取

一种令人沮丧的简单方法用于实体与关系抽取

摘要

端到端的关系抽取旨在识别命名实体并提取实体之间的关系。目前大多数研究工作将这两个子任务联合建模,要么将其纳入统一的结构化预测框架,要么通过共享表示实现多任务学习。在本工作中,我们提出了一种简洁的流水线式方法用于实体与关系抽取,并在标准基准数据集(ACE04、ACE05 和 SciERC)上取得了新的最先进性能,相较于使用相同预训练编码器的先前联合模型,关系F1值提升了1.7%至2.8%的绝对值。我们的方法本质上依赖于两个独立的编码器,仅利用实体模型的输出作为关系模型的输入。通过一系列细致的实验分析,我们验证了以下关键因素的重要性:为实体和关系学习差异化的上下文表示、在关系模型中尽早融合实体信息,以及引入全局上下文信息。此外,我们还提出了一种高效的近似方法,该方法在推理阶段仅需对实体和关系编码器各执行一次前向传播,实现了8至16倍的加速,同时仅带来轻微的精度损失。

代码仓库

princeton-nlp/PURE
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
joint-entity-and-relation-extraction-onOurs: cross-sentence
Cross Sentence: Yes
Entity F1: 68.9
RE+ Micro F1: 36.7
Relation F1: 50.1
joint-entity-and-relation-extraction-on-aceOurs: cross-sentence ALB
Relation F1: 62.2
named-entity-recognition-ner-on-sciercOurs: cross-sentence
F1: 68.2
named-entity-recognition-on-ace-2004Ours: cross-sentence ALB
F1: 90.3
Multi-Task Supervision: y
named-entity-recognition-on-ace-2005Ours: cross-sentence ALB
F1: 90.9
relation-extraction-on-ace-2004Ours: cross-sentence ALB
Cross Sentence: Yes
NER Micro F1: 90.3
RE Micro F1: 66.1
RE+ Micro F1: 62.2
relation-extraction-on-ace-2005Ours: cross-sentence ALB
Cross Sentence: Yes
NER Micro F1: 90.9
RE Micro F1: 69.4
Sentence Encoder: ALBERT

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
一种令人沮丧的简单方法用于实体与关系抽取 | 论文 | HyperAI超神经