4 个月前

消息传递注意力网络用于文档理解

消息传递注意力网络用于文档理解

摘要

图神经网络最近作为一种处理图结构数据的有效框架而崭露头角。这些模型在许多任务中已经达到了最先进的性能。大多数图神经网络可以通过消息传递、顶点更新和读出函数来描述。本文中,我们将文档表示为词汇共现网络,并提出了一种应用于自然语言处理的消息传递框架——用于文档理解的消息传递注意力网络(MPAD)。我们还提出了几种MPAD的层次变体。在10个标准文本分类数据集上进行的实验表明,我们的架构与现有最先进方法具有竞争力。消融研究进一步揭示了不同组件对性能影响的见解。代码已公开发布于:https://github.com/giannisnik/mpad 。

代码仓库

Tixierae/gow_tools
GitHub 中提及
giannisnik/mpad
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
document-classification-on-bbcsportMPAD-path
Accuracy: 99.59
document-classification-on-mpqaMPAD-path
Accuracy: 89.81
sentiment-analysis-on-sst-2-binaryMPAD-path
Accuracy: 87.75
sentiment-analysis-on-sst-5-fine-grainedMPAD-path
Accuracy: 49.68
text-classification-on-trec-6MPAD-path
Error: 6.2

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
消息传递注意力网络用于文档理解 | 论文 | HyperAI超神经