摘要

学习层次结构和时间表示一直是循环神经网络面临的长期挑战之一。多尺度循环神经网络被认为是解决这一问题的一种有前景的方法，但缺乏实证证据表明这种模型确实能够通过发现序列中的潜在层次结构来捕捉时间依赖性。在本文中，我们提出了一种新颖的多尺度方法——层次多尺度循环神经网络（Hierarchical Multiscale Recurrent Neural Networks），该方法通过使用一种新的更新机制，以不同的时间尺度对时间依赖性进行编码，从而捕捉序列中的潜在层次结构。我们提供了一些证据，证明所提出的多尺度架构能够在不使用显式边界信息的情况下发现序列中的潜在层次结构。我们在字符级语言建模和手写序列建模任务上评估了所提出的模型。