
摘要
错误类型信息已被广泛用于提升语法错误修正(GEC)模型的性能,无论是在生成修正结果、对修正结果进行重排序,还是在融合多个GEC模型时。通过结合在不同错误类型修正上具有互补优势的GEC模型,能够显著提升修正质量。然而,系统融合方法由于需要先对基础模型进行推理,再执行融合策略,因此带来了较高的计算开销。因此,若能构建一个单一模型,其内部包含多个专注于不同错误类型修正的子网络,将更具效率。本文提出一种面向语法错误修正的专家混合模型(Mixture-of-Experts for Grammatical Error Correction, MoECE)。该模型在仅使用T5-XL模型约三分之一有效参数的情况下,实现了相当的性能表现。此外,该模型在推理过程中还能同时识别错误类型,从而生成具有可解释性的修正结果。
代码仓库
nusnlp/moece
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| grammatical-error-correction-on-bea-2019-test | MoECE | F0.5: 74.07 |
| grammatical-error-correction-on-conll-2014 | MoECE | F0.5: 67.79 Precision: 74.29 Recall: 50.21 |