许多自然语言处理应用使用语言模型来生成文本。这些模型通常被训练用于根据前文单词和某些上下文（如图像）预测序列中的下一个单词。然而，在测试时，模型需要从头开始生成整个序列。这种差异使得生成过程变得脆弱，因为错误可能会在过程中累积。为了解决这一问题，我们提出了一种新的序列级训练算法，该算法直接优化了测试时使用的评估指标，例如BLEU或ROUGE。在三个不同的任务中，我们的方法在贪婪生成方面优于多个强大的基线模型。即使这些基线模型采用束搜索（beam search），我们的方法也具有竞争力，并且速度要快几倍。