摘要

循环神经网络（Recurrent Neural Networks, RNNs）是建模序列数据的强大工具，但每个时间步的计算依赖于前一个时间步的输出，这限制了并行性，并使得RNN在处理非常长的序列时变得难以管理。我们引入了一种新的神经序列建模方法——准循环神经网络（Quasi-Recurrent Neural Networks, QRNNs），该方法交替使用卷积层（在所有时间步上并行应用）和一种极简的递归池化函数（在所有通道上并行应用）。尽管缺乏可训练的递归层，堆叠的QRNN在预测准确性方面仍优于相同隐层大小的堆叠LSTM。由于其更高的并行性，QRNN在训练和测试时的速度可以比LSTM快16倍。语言模型、情感分类和字符级神经机器翻译实验展示了这些优势，并强调了QRNN作为各种序列任务基本构建块的可行性。