摘要
本文提出了一种基于Transformer编码器的简单而高效的语法错误检测与纠正（GEC）序列标注模型。该系统首先在合成数据上进行预训练，随后分两个阶段进行微调：第一阶段在含错语料上进行，第二阶段则在含错与无错平行语料的组合数据上进行。我们设计了自定义的词元级变换机制，用于将输入词元映射到目标修正结果。我们提出的最优单模型及模型集成的GEC标注器在CoNLL-2014（测试集）上分别取得了65.3和66.5的$F_{0.5}$得分，在BEA-2019（测试集）上分别达到72.4和73.6的$F_{0.5}$得分。该模型的推理速度最高可达基于Transformer的序列到序列（seq2seq）GEC系统速度的10倍。相关代码与训练好的模型均已公开发布。
代码仓库
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| grammatical-error-correction-on-bea-2019-test | Sequence tagging + token-level transformations + two-stage fine-tuning (+RoBERTa, XLNet) | F0.5: 73.7 |
| grammatical-error-correction-on-bea-2019-test | Sequence tagging + token-level transformations + two-stage fine-tuning (+XLNet) | F0.5: 72.4 |
| grammatical-error-correction-on-conll-2014 | Sequence tagging + token-level transformations + two-stage fine-tuning (+BERT, RoBERTa, XLNet) | F0.5: 66.5 Precision: 78.2 Recall: 41.5 |
| grammatical-error-correction-on-conll-2014 | Sequence tagging + token-level transformations + two-stage fine-tuning (+XLNet) | F0.5: 65.3 Precision: 77.5 Recall: 40.1 |