摘要

深度学习的最新进展已确立了Transformer架构作为主流建模范式。Transformer成功的核心在于自注意力机制，该机制通过计算查询矩阵与键矩阵之间的相似性，对值矩阵进行加权调制。这一操作与有向图卷积（digraph convolution）具有显著的相似性，由此引发了一个值得探讨的问题：有向图卷积是否可作为自注意力机制的替代方案？在本研究中，我们通过引入基于有向图傅里叶变换的合成酉有向图卷积（synthetic unitary digraph convolution），正式化了这一概念。由此构建的模型被命名为Converter，其能够将Transformer高效地转换为有向图神经网络（Directed Graph Neural Network, DGNN）的形式。我们在Long-Range Arena基准测试、长文档分类以及基于DNA序列的分类任务中对Converter进行了全面评估。实验结果表明，Converter在保持计算效率与架构简洁性的同时，实现了优于现有方法的性能表现，展现出作为轻量化但强大的Transformer变体的巨大潜力。