3 个月前

语法错误纠正的支柱:大语言模型时代下当代方法的全面审视

语法错误纠正的支柱:大语言模型时代下当代方法的全面审视

摘要

本文针对语法错误纠正(Grammatical Error Correction, GEC)开展了实验研究,深入探讨了单模型系统的特点,比较了集成方法与排序方法的效率,并系统研究了大语言模型在GEC中的多种应用模式,包括作为独立单模型系统、作为集成系统中的组成部分以及作为排序方法的使用方式。我们在CoNLL-2014测试集上取得了72.8的F₀.₅得分,在BEA测试集上取得了81.4的F₀.₅得分,均刷新了该任务的最新技术水平。为推动GEC领域的进一步发展,并确保本研究结果的可复现性,我们已将代码、训练好的模型以及系统输出结果公开发布,供学术界和工业界参考与使用。

代码仓库

grammarly/pillars-of-gec
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
grammatical-error-correction-on-bea-2019-testMajority-voting ensemble on best 7 models
F0.5: 81.4
grammatical-error-correction-on-conll-2014Majority-voting ensemble on best 7 models
F0.5: 71.8
Precision: 83.7
Recall: 45.7
grammatical-error-correction-on-conll-2014Ensembles of best 7 models + GRECO + GTP-rerank
F0.5: 72.8
Precision: 83.9
Recall: 47.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
语法错误纠正的支柱:大语言模型时代下当代方法的全面审视 | 论文 | HyperAI超神经