摘要

高效捕捉序列数据源中对给定任务（如分类和生成建模）至关重要的长程模式是一个基本挑战。当前流行的方法在空间上权衡了全量枚举和比较的记忆负担（例如在变压器模型中）、复杂序列依赖关系的计算负担（例如在递归神经网络中），以及具有许多或大滤波器的卷积网络的参数负担。我们从基于小波的多分辨率分析中汲取灵感，定义了一种新的序列建模构建模块，称为多分辨率层（MultiresLayer）。我们的模型的关键组件是多分辨率卷积，它能够捕捉输入序列中的多尺度趋势。我们的多分辨率卷积可以通过在整个稀疏因果卷积树中共享滤波器来实现。因此，它不仅具备卷积网络的计算优势，还具有小波分解的理论基础。我们的多分辨率层易于实现，需要显著较少的参数，并且对于长度为 $N$ 的序列，其内存占用最多为 $\mathcal{O}(N\log N)$。然而，通过堆叠这些层，我们的模型在使用 CIFAR-10、ListOps 和 PTB-XL 数据集进行的一系列序列分类和自回归密度估计任务中达到了最先进的性能。