摘要

大型自回归生成模型已成为在多个自然语言处理任务中实现最高性能的基石。然而，追求卓越结果的冲动有时会导致在未进行充分实验的情况下，过早地取代精心设计的任务特定方法。共指消解任务也不例外；所有最近的最先进解决方案都采用了大型生成自回归模型，这些模型的表现优于基于编码器的判别系统。在这项工作中，我们挑战了这一最新趋势，引入了一种精心设计但简单的管道——Maverick（ Maverick），它能够在学术预算的限制下运行最先进的共指消解系统，并以仅5亿参数的数量超越高达130亿参数的模型。Maverick 在 CoNLL-2012 基准测试中实现了最先进水平的表现，训练时使用的内存资源最多仅为先前最先进系统的0.006倍，并且推理速度比之前的最先进系统快170倍。我们通过一系列多样化的实验广泛验证了 Maverick 框架的鲁棒性，在数据稀缺、长文档和域外设置中均报告了相对于先前系统的改进。我们已将代码和模型发布在 https://github.com/SapienzaNLP/maverick-coref 供研究使用。