4 个月前

基于标签感知的文档表示通过混合注意力机制用于极端多标签文本分类

基于标签感知的文档表示通过混合注意力机制用于极端多标签文本分类

摘要

极端多标签文本分类(Extreme Multi-Label Text Classification, XMTC)旨在从一个极其庞大的标签集中为文档标注最相关的标签。这是一个具有挑战性的问题,尤其是对于尾部标签,因为用于构建分类器的训练文档数量非常有限。本文旨在通过利用文档内容和标签相关性,更好地探索每个文档与极端标签之间的语义关系。我们的目标是使用一种混合注意力深度神经网络模型(Label-Aware Hybrid Attention, LAHA)为每个文档建立显式的标签感知表示。LAHA由三部分组成。第一部分采用多标签自注意力机制来检测每个词对标签的贡献度。第二部分利用标签结构和文档内容,在同一潜在空间中确定词与标签之间的语义联系。第三部分设计了一种自适应融合策略,以获得最终的标签感知文档表示,从而充分整合前两部分的本质特征。我们已在六个基准数据集上进行了广泛的实验,并与最先进的方法进行了比较。结果表明,我们提出的LAHA方法在尾部标签上的表现尤为优越。

代码仓库

HX-idiot/Hybrid_Attention_XML
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
multi-label-text-classification-on-aapdLAHA
P@1: 84.48
P@3: 60.72
P@5: 41.19
nDCG@3: 80.11
nDCG@5: 83.7
multi-label-text-classification-on-amazon-12kLAHA
P@1: 94.87
P@3: 79.16
P@5: 63.16
nDCG@3: 89.13
nDCG@5: 87.57
multi-label-text-classification-on-eur-lexLAHA
P@1: 74.95
P@3: 61.48
P@5: 50.71
nDCG@3: 64.89
nDCG@5: 59.28
multi-label-text-classification-on-kan-shanLAHA
P@1: 54.38
P@3: 34.6
P@5: 25.88
nDCG@3: 51.7
nDCG@5: 54.65
multi-label-text-classification-on-wiki-30kLAHA
P@1: 84.18
P@3: 73.14
P@5: 62.87
nDCG@3: 75.64
nDCG@5: 67.82

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于标签感知的文档表示通过混合注意力机制用于极端多标签文本分类 | 论文 | HyperAI超神经