摘要

变压器模型因其自注意力机制而闻名，在自然语言处理、计算机视觉、时间序列建模等多个任务中取得了最先进的性能。然而，深度变压器模型面临的一个挑战是过平滑问题，即不同层之间的表示逐渐收敛为无法区分的值，导致性能显著下降。我们将原始的自注意力机制解释为一种简单的图滤波器，并从图信号处理（GSP）的角度重新设计了这一机制。我们提出了一种基于图滤波器的自注意力机制（GFSA），旨在学习一种通用且有效的模型，尽管其复杂度略高于原始的自注意力机制。我们证明了GFSA在多个领域内提升了变压器模型的性能，包括计算机视觉、自然语言处理、图级任务、语音识别和代码分类。