摘要

尽管Transformer在许多自然语言处理（NLP）任务中取得了显著成功，其全连接注意力机制的重型结构导致了对大规模训练数据的依赖。本文提出了一种轻量级替代方案——Star-Transformer，通过精心设计的稀疏化方法实现。为了降低模型复杂度，我们将全连接结构替换为星形拓扑结构，在该结构中，每两个非相邻节点通过一个共享的中继节点相连。因此，复杂度从二次降为线性，同时保留了捕捉局部组合和长距离依赖的能力。在四个任务（22个数据集）上的实验表明，对于规模适中的数据集，Star-Transformer相比标准Transformer实现了显著改进。