摘要

在本工作中，我们提出了一种名为BertGCN的模型，该模型将大规模预训练与归纳式学习相结合，用于文本分类任务。BertGCN在数据集上构建了一个异构图结构，并利用BERT的表示将文档建模为图中的节点。通过在BertGCN框架内联合训练BERT模块与图卷积网络（GCN）模块，该模型能够融合两者的优点：一方面利用大规模预训练所具备的对海量原始数据的建模能力，另一方面通过图卷积传播标签信息，实现对训练数据与未标记测试数据的联合表示学习，即归纳式学习。实验结果表明，BertGCN在多个文本分类数据集上均取得了当前最优（SOTA）的性能表现。代码已开源，可通过 https://github.com/ZeroRin/BertGCN 获取。