摘要

我们介绍了用于序列建模的新架构——格网网络（trellis networks）。一方面，格网网络是一种具有特殊结构的时间卷积网络，其特点是深度上的权重共享以及输入直接注入深层。另一方面，我们证明了截断的递归神经网络等价于在权重矩阵中具有特殊稀疏结构的格网网络。因此，具有通用权重矩阵的格网网络可以看作是截断递归神经网络的泛化形式。我们利用这些联系设计了高性能的格网网络，吸收了递归模型和卷积模型中的结构和算法元素。实验结果表明，格网网络在多种具有挑战性的基准测试中优于当前最先进的方法，包括词级语言建模和字符级语言建模任务，以及旨在评估长期记忆保留的压力测试。代码可在 https://github.com/locuslab/trellisnet 获取。