3 个月前

基于自适应焦点损失与知识蒸馏的文档级关系抽取

基于自适应焦点损失与知识蒸馏的文档级关系抽取

摘要

文档级关系抽取(Document-level Relation Extraction, DocRE)相较于其句子级对应任务更具挑战性,其目标是从多句文本中联合抽取实体间的关系。本文提出了一种半监督的DocRE框架,并引入了三个新颖的组件。首先,我们设计了一种轴向注意力模块(axial attention module),用于建模实体对之间的相互依赖关系,显著提升了对两跳关系(two-hop relations)的捕捉能力。其次,我们提出了一种自适应焦点损失(adaptive focal loss),以有效缓解DocRE任务中普遍存在的类别不平衡问题。最后,我们采用知识蒸馏技术,缓解人工标注数据与远程监督数据之间的分布差异。我们在两个DocRE数据集上进行了实验,结果表明,所提模型持续优于多个强基线方法,在DocRED排行榜上的F1分数和Ign_F1分数分别超越此前的最先进水平(SOTA)1.36和1.46。相关代码与数据将公开发布于 https://github.com/tonytan48/KD-DocRE。

代码仓库

tonytan48/kd-docre
官方
pytorch

基准测试

基准方法指标
relation-extraction-on-docredKD-Rb-l
F1: 67.28
Ign F1: 65.24
relation-extraction-on-redocredKD-DocRE
F1: 78.28
Ign F1: 77.60

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于自适应焦点损失与知识蒸馏的文档级关系抽取 | 论文 | HyperAI超神经