3 个月前

文本级别的图神经网络用于文本分类

文本级别的图神经网络用于文本分类

摘要

近年来,研究者们开始探索图神经网络(GNN)在文本分类中的应用,因为GNN在处理复杂结构以及保留全局信息方面表现出色。然而,以往基于GNN的方法主要面临两个实际问题:一是采用固定的语料库级图结构,难以支持在线测试;二是内存消耗较高。为解决上述问题,本文提出一种新型GNN模型,该模型为每篇输入文本动态构建图结构,并通过全局参数共享机制替代传统在整个语料库上使用单一图结构的方式。该方法消除了单个文本与整个语料库之间的强依赖关系,从而支持在线测试,同时仍能有效保留全局信息。此外,我们采用更小的文本窗口构建图结构,不仅能够提取更丰富的局部特征,还能显著减少边的数量,从而大幅降低内存开销。实验结果表明,所提模型在多个文本分类数据集上均优于现有方法,且在内存消耗更少的情况下实现了更优性能。

代码仓库

Cynwell/Text-Level-GNN
pytorch
GitHub 中提及

基准测试

基准方法指标
text-classification-on-ohsumedOur Model*
Accuracy: 69.4
text-classification-on-r52Our Model*
Accuracy: 94.6
text-classification-on-r8Our Model*
Accuracy: 97.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供