3 个月前

基于质量评估的语法错误纠正系统融合

基于质量评估的语法错误纠正系统融合

摘要

质量估计模型已被开发用于评估语法错误纠正(GEC)模型在缺乏参考标准(即“黄金标准”)纠正结果时所作出的修正效果。理想的质量估计器能够通过从多个GEC系统所提出的所有修正项的并集中选择最优的修正子集,实现对多个GEC系统输出的融合。然而,我们发现现有GEC质量估计模型在区分优质修正与劣质修正方面表现不佳,导致在系统融合任务中F0.5得分较低。本文提出GRECO——一种新的前沿质量估计模型,其能够更准确地评估修正后句子的质量,表现为与修正句的F0.5得分具有更高的相关性。该模型显著提升了融合后GEC系统的F0.5得分。此外,本文还提出了三种适用于GEC质量估计模型进行系统融合的方法,涵盖不同通用性层级:模型无关型、带投票偏差的模型无关型,以及模型依赖型方法。融合后的GEC系统在CoNLL-2014测试集和BEA-2019测试集上均超越现有最先进水平,取得了迄今为止发表的最高F0.5得分。

代码仓库

nusnlp/greco
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
grammatical-error-correction-on-bea-2019-testGRECO (voting+ESC)
F0.5: 80.84
grammatical-error-correction-on-conll-2014GRECO (voting+ESC)
F0.5: 71.12
Precision: 79.6
Recall: 49.86
grammatical-error-correction-on-conll-2014-1GRECO (vote+ESC)
F0.5: 85.21

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于质量评估的语法错误纠正系统融合 | 论文 | HyperAI超神经