摘要

线性状态空间模型（SSM）的状态转移矩阵经过标准非线性变换后的合理参数化，使其能够高效地从序列数据中学习表示，从而在一系列长距离序列建模基准测试中达到当前最佳水平。本文中，我们展示了当结构化的SSM（如S4）由线性液态时间常数（LTC）状态空间模型给出时，可以进一步改进性能。LTC神经网络是一种因果连续时间神经网络，具有依赖输入的状态转移模块，这使得它们能够在推理过程中适应传入的输入。通过使用S4中引入的状态转移矩阵的对角加低秩分解方法，并进行一些简化，基于LTC的结构化状态空间模型——命名为Liquid-S4——在具有长期依赖性的图像、文本、音频和医疗时间序列等序列建模任务上实现了新的最佳泛化性能，在Long-Range Arena基准测试中的平均性能达到了87.32%。在完整的原始Speech Command识别数据集上，Liquid-S4以比S4减少30%参数量的情况下实现了96.78%的准确率。性能的额外提升直接归因于Liquid-S4的核结构，在训练和推理过程中考虑了输入序列样本之间的相似性。