3 个月前

用于联合实体与关系抽取的划分过滤网络

用于联合实体与关系抽取的划分过滤网络

摘要

在联合实体与关系抽取任务中,现有方法要么采用顺序编码方式来处理特定任务的特征,导致任务间特征交互不均衡——后提取的特征无法直接与先提取的特征进行交互;要么采用并行编码方式分别处理实体特征与关系特征,使得各任务的特征表示学习在很大程度上相互独立,仅通过输入共享建立联系。为此,我们提出一种分块滤波网络(Partition Filter Network, PFN),以合理建模任务间的双向交互。该网络将特征编码过程分解为两个步骤:分块(partition)与滤波(filter)。在编码器中,我们引入两个门控机制——实体门与关系门,用于将神经元划分为两个任务专属分区与一个共享分区。共享分区用于表示对两个任务均具有价值的跨任务信息,并在两个任务间均等共享,从而保障任务间的有效双向交互。任务专属分区则用于捕捉各任务内部的特异性信息,其形成依赖于两个门控机制的协同作用,确保任务特定特征的编码过程彼此依赖。在六个公开数据集上的实验结果表明,所提模型显著优于以往方法。此外,与以往研究的结论相反,我们的辅助实验表明,关系预测对命名实体识别具有不可忽视的促进作用。源代码已开源,地址为:https://github.com/Coopercoppers/PFN。

代码仓库

Coopercoppers/PFN
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
joint-entity-and-relation-extraction-onPFN
Cross Sentence: No
Entity F1: 66.8
RE+ Micro F1: 38.4
relation-extraction-on-ace-2004PFN
Cross Sentence: No
NER Micro F1: 89.3
RE+ Micro F1: 62.5
relation-extraction-on-ace-2005PFN
Cross Sentence: No
NER Micro F1: 89.0
RE+ Micro F1: 66.8
Sentence Encoder: ALBERT
relation-extraction-on-ade-corpusPFN (ALBERT XXL, no aggregation)
NER Macro F1: 91.3
RE+ Macro F1: 83.2
relation-extraction-on-ade-corpus-1PFN
NER Macro F1: 91.3
RE+ Macro F1: 83.2
relation-extraction-on-sciercPFN
NER Micro F1: 66.8
RE+ Micro F1: 38.4
relation-extraction-on-webnlgPFN
F1: 93.6
NER Micro F1: 98.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
用于联合实体与关系抽取的划分过滤网络 | 论文 | HyperAI超神经