摘要

联合嵌入预测架构（JEPAs）最近作为一种新颖且强大的自监督表示学习技术崭露头角。其目标是通过从上下文信号x的潜在表示中预测目标信号y的潜在表示来学习一种基于能量的模型。JEPAs绕过了对比学习传统上所需的正样本和负样本，同时避免了生成预训练中的过拟合问题。在本文中，我们提出了一种图级联合嵌入预测架构（Graph-JEPA），展示了该范式可以有效地建模图级表示。具体而言，我们采用了掩码建模方法，专注于从上下文子图的潜在表示中预测被掩码子图的潜在表示。为了赋予这些表示以通常存在于图级概念中的隐含层次结构，我们设计了一个替代预测目标，即预测编码子图在二维平面上单位双曲线上坐标。通过多次实验评估，我们证明了Graph-JEPA可以学习到高度语义化和表达力强的表示，这在下游任务如图分类、回归以及区分非同构图方面得到了验证。代码可在https://github.com/geriskenderi/graph-jepa 获取。