3 个月前

学会忽略:基于有限记忆神经网络的长文档共指消解

学会忽略:基于有限记忆神经网络的长文档共指消解

摘要

长文档共指消解任务由于当前模型对内存和运行时间的高要求,仍是一项具有挑战性的任务。近期有研究通过仅利用实体的全局表示进行增量式共指消解,展现出实际应用优势,但该方法需要将所有实体保留在内存中,这对长文档而言可能不切实际。我们认为,将所有实体长期驻留内存是不必要的。为此,我们提出一种内存增强型神经网络,该模型仅在任意时刻跟踪有限数量的实体,从而保证了模型运行时间与文档长度呈线性关系。实验结果表明:(a)该模型在OntoNotes和LitBank数据集上,性能与高内存和高计算开销的模型相当;(b)模型能够自动学习高效的内存管理策略,其表现显著优于基于规则的管理方法。

代码仓库

shtoshni/fast-coref
pytorch
GitHub 中提及
shtoshni92/fast-coref
pytorch
GitHub 中提及
shtoshni92/long-doc-coref
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
coreference-resolution-on-conll-2012U-MEM* + SpanBERT-large
Avg F1: 79.6
coreference-resolution-on-ontonotesU-MEM* + SpanBERT
F1: 79.6

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供