摘要

具有连续时间隐藏状态的循环神经网络（RNNs）非常适合建模非均匀采样的时间序列。然而，当输入数据具有长期依赖性时，这些模型会遇到困难。我们证明了类似于标准RNNs，这一问题的根本原因在于训练过程中梯度的消失或爆炸。这种现象通过隐藏状态的常微分方程（ODE）表示来体现，无论选择哪种ODE求解器均是如此。我们提出了一种解决方案，即设计一种基于长短期记忆（LSTM）的新算法，该算法将其记忆与其时间连续状态分离。这样，我们在RNN中编码了一个连续时间的动力学流，使其能够在任意时间间隔响应输入，同时确保通过记忆路径的误差传播保持恒定。我们将这类RNN模型称为ODE-LSTMs。实验结果表明，ODE-LSTMs在处理具有长期依赖性的非均匀采样数据时优于先进的基于RNN的同类模型。所有代码和数据均可在https://github.com/mlech26l/ode-lstms获取。