摘要

我们提出了一种针对具有长短期记忆（LSTM）单元的循环神经网络（RNN）的简单正则化技术。尽管Dropout是目前最成功的神经网络正则化技术，但它在RNN和LSTM上的效果并不理想。本文中，我们展示了如何正确地将Dropout应用于LSTM，并证明了它在多种任务上显著减少了过拟合现象。这些任务包括语言模型、语音识别、图像描述生成以及机器翻译。