
摘要
预训练语言模型的引入已将许多复杂的特定任务自然语言处理(NLP)模型简化为轻量级的附加层。然而,共指消解(coreference resolution)是一个例外,其通常在预训练Transformer编码器的基础上附加一个复杂的任务专用模型。尽管该方法效果显著,但其内存占用极大——主要源于动态构建的片段(span)及片段对(span-pair)表示——这严重限制了对完整文档的处理能力,也阻碍了在单个批次中同时训练多个实例。为此,我们提出一种轻量级端到端共指消解模型,该模型摒弃了对片段表示、手工特征及启发式规则的依赖。在保持与当前主流模型相当性能的同时,新模型结构更简洁、效率更高。
代码仓库
yuvalkirstain/s2e-coref
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| coreference-resolution-on-conll-2012 | s2e + Longformer-Large | Avg F1: 80.3 |
| coreference-resolution-on-conll-2012 | c2f + SpanBERT-Large | Avg F1: 80.2 |