3 个月前

无需跨度表示的共指消解

无需跨度表示的共指消解

摘要

预训练语言模型的引入已将许多复杂的特定任务自然语言处理(NLP)模型简化为轻量级的附加层。然而,共指消解(coreference resolution)是一个例外,其通常在预训练Transformer编码器的基础上附加一个复杂的任务专用模型。尽管该方法效果显著,但其内存占用极大——主要源于动态构建的片段(span)及片段对(span-pair)表示——这严重限制了对完整文档的处理能力,也阻碍了在单个批次中同时训练多个实例。为此,我们提出一种轻量级端到端共指消解模型,该模型摒弃了对片段表示、手工特征及启发式规则的依赖。在保持与当前主流模型相当性能的同时,新模型结构更简洁、效率更高。

代码仓库

yuvalkirstain/s2e-coref
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
coreference-resolution-on-conll-2012s2e + Longformer-Large
Avg F1: 80.3
coreference-resolution-on-conll-2012c2f + SpanBERT-Large
Avg F1: 80.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供