摘要

采用结构化状态空间序列（S4）层的模型在长序列建模任务中已达到当前最优性能。S4层通过结合线性状态空间模型（SSMs）、HiPPO框架与深度学习技术，实现了卓越的性能表现。本文在S4层设计的基础上，提出了一种新型状态空间层——S5层。与S4层使用多个独立的单输入单输出状态空间模型不同，S5层采用一个统一的多输入多输出状态空间模型。我们建立了S5与S4之间的理论联系，并基于该联系设计了S5模型的初始化策略与参数化方法。结果表明，S5层能够充分利用高效且广泛支持的并行扫描（parallel scan）计算机制，在保持与S4相当的计算效率的同时，在多个长序列建模任务中实现了当前最优性能。在长序列竞技场（Long Range Arena）基准测试中，S5平均得分达到87.4%；在最具挑战性的Path-X任务中，准确率高达98.5%。