摘要

在图实例表示学习中，图实例规模的多样性以及图节点的无序性（node orderless property）一直是制约现有表示学习模型有效性的主要障碍。本文旨在考察GRAPH-BERT在图实例表示学习任务中的有效性，该模型最初是为节点表示学习任务而设计的。为了适应新的问题设定，我们对GRAPH-BERT进行了重构，采用了一种分段式（segmented）架构，本文中将其简称为SEG-BERT（分段式GRAPH-BERT），以方便引用。SEG-BERT不再依赖于与节点顺序相关的输入或功能模块，能够自然地处理图节点的无序性问题。此外，SEG-BERT采用分段式架构，并引入三种不同的策略来统一图实例的规模，分别为：全输入（full-input）、填充/剪枝（padding/pruning）以及分段移位（segment shifting）。SEG-BERT支持无监督预训练，可直接迁移至新任务，或在必要时进行少量微调。我们在七个图实例基准数据集上进行了实验验证，结果表明，SEG-BERT在其中六个数据集上的表现显著优于对比方法，充分证明了其有效性与优越性。