摘要

现代神经序列生成模型旨在从头逐步生成标记或（迭代地）修改固定长度内的标记序列。在本研究中，我们开发了Levenshtein Transformer，这是一种新的部分自回归模型，设计用于更加灵活和易于操作的序列生成。与以往的方法不同，我们的模型的基本操作是插入和删除。这两种操作的结合不仅促进了生成过程，还允许对序列进行精炼并实现动态长度变化。我们还提出了一套专门针对这些操作的新训练技术，由于它们的互补性质，可以有效地利用一个作为另一个的学习信号。实验结果表明，应用所提出的模型在生成任务（如机器翻译、文本摘要）和精炼任务（如自动后编辑）上均达到了可比的性能，但效率显著提高。此外，通过展示经过机器翻译训练的Levenshtein Transformer可以直接用于自动后编辑，进一步证实了我们模型的灵活性。