摘要

我们提出了一种并行迭代编辑（Parallel Iterative Edit, PIE）模型，用于解决诸如语法错误纠正（Grammatical Error Correction, GEC）等任务中出现的局部序列转换问题。现有的方法通常基于流行的编码器-解码器（Encoder-Decoder, ED）模型进行序列到序列的学习。ED模型通过自回归方式捕捉输出标记之间的完整依赖关系，但因采用串行解码而效率较低。相比之下，PIE模型采用并行解码，虽放弃了对输出端完整依赖关系建模的优势，却在四个关键方面实现了与ED模型相当甚至更优的准确率：（1）预测编辑操作而非直接生成标记；（2）对序列进行标签化而非从头生成序列；（3）通过迭代方式逐步优化预测结果，以捕捉潜在的依赖关系；（4）将 logits 分解为编辑操作及其对应标记参数的组合，从而有效利用 BERT 等预训练语言模型的表示能力。在涵盖语法错误纠正、光学字符识别（OCR）纠错和拼写纠正等多个任务上的实验表明，PIE 模型在保持高准确率的同时，显著提升了推理速度，是一种高效且精确的局部序列转换替代方案。