摘要

近年来，自监督学习（Self-supervised Learning, SSL）得到了广泛研究。尤其在自然语言处理及其他人工智能领域，生成式自监督学习取得了显著进展，例如BERT和GPT等模型的广泛应用。然而，在图神经网络的自监督学习中，对比学习（contrastive learning）仍占据主导地位，其依赖复杂的结构数据增强策略和繁琐的训练机制。相比之下，生成式自监督学习在图数据上的进展，尤其是图自编码器（Graph Autoencoders, GAEs）的发展，尚未达到其在其他领域所展现出的潜力。本文系统地识别并深入分析了制约GAEs发展的关键问题，包括其重构目标设计、训练鲁棒性以及误差度量方式等方面的不足。为此，我们提出了一种新型的掩码图自编码器——GraphMAE，旨在有效缓解上述问题，推动生成式自监督图预训练的发展。与传统方法侧重于重构图结构不同，GraphMAE转而聚焦于节点特征的重构，并引入掩码策略与缩放余弦误差（scaled cosine error），显著提升了模型训练的稳定性与有效性。我们在21个公开数据集上针对三类不同的图学习任务进行了广泛实验。结果表明，GraphMAE——一种设计精巧但结构简洁的图自编码器——在性能上 consistently 超越了现有的对比学习与生成式自监督学习的最先进方法。本研究不仅深化了对图自编码器机制的理解，也充分展示了生成式自监督预训练在图数据上的巨大潜力。