摘要

序列模型，如循环神经网络（Recurrent Neural Networks）和神经微分方程（Neural Ordinary Differential Equations），长期以来因固有的序列特性而面临训练速度缓慢的问题。多年来，这一瓶颈始终存在，因为人们普遍认为序列模型无法实现并行化。本文我们提出了一种全新的并行算法，首次打破了这一长期固有的认知：该算法可在不牺牲输出精度的前提下，将序列模型在GPU上的评估速度提升高达三个数量级。该方法无需依赖序列模型架构中的特殊结构，因此可广泛适用于各类模型架构。采用本方法后，序列模型的训练速度比传统串行方法提升超过10倍，且训练结果在统计意义上无显著差异。基于这一加速能力，我们成功验证了门控循环单元（Gated Recurrent Unit, GRU）在包含17,000个时间样本的长序列分类任务中的有效性。通过突破训练瓶颈，本工作为非线性序列模型在长序列问题中的潜力释放迈出了关键的第一步。