摘要

循环神经网络在建模序列数据方面已得到广泛应用。然而，由于梯度爆炸或梯度消失的问题，这些模型在学习长期依赖关系时仍然面临困难。本文中，我们探讨了循环神经网络与常微分方程之间的联系，并在此理论框架下提出了一种特殊形式的循环神经网络——反称RNN（AntisymmetricRNN）。得益于其底层常微分方程的稳定性特性，反称RNN能够有效地捕捉长期依赖关系。现有的提高循环神经网络训练性能的方法通常会带来显著的计算开销。相比之下，反称RNN通过设计本身实现了这一目标。我们通过大量的模拟和实验展示了这种新架构的优势。反称RNN表现出更加可预测的动力学特性，在需要长期记忆的任务上优于常规的LSTM模型，而在短期依赖关系占主导的任务上，尽管结构更为简单，其性能却与LSTM模型相当。