摘要

序列到序列（Seq2Seq）方法近年来在语法错误修正（GEC）任务中得到广泛应用，并展现出良好的性能。然而，现有的Seq2Seq GEC方法仍面临两个主要问题：其一，Seq2Seq GEC模型只能在平行语料上进行训练，而GEC任务中的平行数据通常噪声较大且数量有限；其二，Seq2Seq GEC模型的解码器缺乏对当前生成词元（token）是否正确的显式判断能力。本文提出一种统一的解码干预框架，通过引入一个外部评判器（critic），对即将生成的词元进行逐步评估，并据此动态影响下一个词元的选择。我们探索并研究了两种类型的评判器：一种是预训练的自左向右语言模型评判器，另一种是增量式目标侧语法错误检测评判器。在英语和中文数据集上的大量实验表明，所提出的框架始终优于多个强基线模型，并取得了与当前最先进方法相媲美的性能表现。