摘要

我们利用多层卷积编码器-解码器神经网络改进了文本中语法、拼写和搭配错误的自动校正。该网络通过使用字符N-gram信息的嵌入进行初始化，以更好地适应这一任务。在常见的基准测试数据集（如CoNLL-2014和JFLEG）上评估时，我们的模型在这项任务上的表现显著优于所有先前的神经方法以及基于统计机器翻译的强系统，后者在同一数据上训练了包含神经特征和任务特定特征的模型。我们的分析表明，卷积神经网络在通过注意力机制捕捉局部上下文方面优于循环神经网络（如长短期记忆（LSTM）网络），从而提高了纠正语法错误的覆盖率。通过集成多个模型，并结合N-gram语言模型和编辑特征进行重评分，我们的新方法成为首个在语法性和流畅性方面均超越当前最先进的基于统计机器翻译的方法的神经方法。