摘要

基于Transformer的序列推荐（Sequential Recommendation, SR）模型已取得显著成果。然而，在计算机视觉与自然语言处理领域，Transformer的自注意力机制存在过度平滑（oversmoothing）问题，即隐藏表示趋于相似，导致不同标记（token）之间的区分度降低。在SR领域，我们首次揭示了该问题同样存在。通过开创性研究，我们发现自注意力机制在序列推荐中具有低通滤波特性，正是这一特性引发了过度平滑现象。为此，我们提出一种新型方法——面向序列推荐的超越自注意力模型（Beyond Self-Attention for Sequential RecomMendation, BSARec）。该方法利用傅里叶变换，一方面通过引入细粒度序列模式的归纳偏置，增强模型对局部动态行为的捕捉能力；另一方面融合低频与高频信息，有效缓解过度平滑问题。本研究的发现为序列推荐领域带来了显著进展，并有望弥合现有基于Transformer的SR模型之间的性能差距。我们在6个基准数据集上进行了大量实验，验证了所提方法的有效性。实验结果表明，BSARec在推荐性能上优于7种基线方法。相关代码已公开，地址为：https://github.com/yehjin-shin/BSARec。