Kostiantyn OmelianchukAndrii LiubonkoOleksandr SkurzhanskyiArtem ChernodubOleksandr KorniienkoIgor Samokhin

摘要
本文针对语法错误纠正(Grammatical Error Correction, GEC)开展了实验研究,深入探讨了单模型系统的特点,比较了集成方法与排序方法的效率,并系统研究了大语言模型在GEC中的多种应用模式,包括作为独立单模型系统、作为集成系统中的组成部分以及作为排序方法的使用方式。我们在CoNLL-2014测试集上取得了72.8的F₀.₅得分,在BEA测试集上取得了81.4的F₀.₅得分,均刷新了该任务的最新技术水平。为推动GEC领域的进一步发展,并确保本研究结果的可复现性,我们已将代码、训练好的模型以及系统输出结果公开发布,供学术界和工业界参考与使用。
代码仓库
grammarly/pillars-of-gec
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| grammatical-error-correction-on-bea-2019-test | Majority-voting ensemble on best 7 models | F0.5: 81.4 |
| grammatical-error-correction-on-conll-2014 | Majority-voting ensemble on best 7 models | F0.5: 71.8 Precision: 83.7 Recall: 45.7 |
| grammatical-error-correction-on-conll-2014 | Ensembles of best 7 models + GRECO + GTP-rerank | F0.5: 72.8 Precision: 83.9 Recall: 47.5 |