3 个月前

DREEAM:利用证据引导注意力以提升文档级关系抽取

DREEAM:利用证据引导注意力以提升文档级关系抽取

摘要

文档级关系抽取(Document-level Relation Extraction, DocRE)旨在识别文档中每对实体之间的所有关系。研究表明,作为关系抽取线索来源的证据(即包含实体对之间关系线索的句子)有助于DocRE系统聚焦于相关文本,从而提升关系抽取效果。然而,DocRE中的证据检索(Evidence Retrieval, ER)面临两大挑战:高内存消耗以及标注数据的稀缺性。本文致力于解决上述问题,以提升证据检索在DocRE中的应用效果。首先,我们提出DREEAM(Document-level Relation Extraction with Efficient Attention Mechanism),一种内存高效的解决方案。该方法将证据信息作为监督信号,引导DocRE系统中的注意力模块为证据句子分配更高的权重,从而增强模型对关键信息的聚焦能力。其次,我们设计了一种针对DREEAM的自训练策略,使其能够在无需人工标注证据的情况下,利用大规模自动构建的证据数据进行学习,有效缓解了标注资源不足的问题。实验结果表明,DREEAM在DocRED基准数据集上,在DocRE和ER两个任务上均取得了当前最优性能。据我们所知,DREEAM是首个实现证据检索自训练(ER self-training)的框架,为高效、可扩展的文档级关系抽取提供了新的技术路径。

代码仓库

youmima/dreeam
官方
pytorch

基准测试

基准方法指标
relation-extraction-on-docredDREEAM
F1: 67.53
Ign F1: 65.47
relation-extraction-on-redocredDREEAM
F1: 80.73
Ign F1: 79.66

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
DREEAM:利用证据引导注意力以提升文档级关系抽取 | 论文 | HyperAI超神经