3 个月前

用于文档级关系抽取的密集连接十字交叉注意力网络

用于文档级关系抽取的密集连接十字交叉注意力网络

摘要

文档级关系抽取(Document-Level Relation Extraction, RE)旨在识别给定文档中两个实体之间的语义关系。相较于句子级关系抽取,文档级关系抽取需要更复杂的推理能力。以往的研究通常通过在提及级别或实体级别的文档图(document-graph)上进行信息传播来完成推理,但较少关注实体对级别的推理过程。本文提出一种新型模型——密集连接交叉注意力网络(Densely Connected Criss-Cross Attention Network, Dense-CCNet),用于文档级关系抽取,能够实现实体对级别的逻辑推理。具体而言,Dense-CCNet通过交叉注意力机制(Criss-Cross Attention, CCA)在实体对矩阵上沿水平和垂直方向联合捕捉上下文信息,从而增强对应实体对的表示能力。此外,我们通过密集连接多个CCA层,同时捕捉单跳与多跳逻辑推理的特征。我们在三个公开的文档级关系抽取数据集(DocRED、CDR和GDA)上对Dense-CCNet模型进行了评估。实验结果表明,该模型在上述三个数据集上均取得了当前最优(state-of-the-art)的性能表现。

基准测试

基准方法指标
relation-extraction-on-cdrDense-CCNet-SciBERTbase
F1: 77.06
relation-extraction-on-docredDense-CCNet-BERTbase
F1: 62.55
Ign F1: 60.46
relation-extraction-on-gdaDense-CCNet-SciBERTbase
F1: 86.44

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供