
摘要
极端多标签文本分类(Extreme Multi-Label Text Classification, XMTC)旨在从一个极其庞大的标签集中为文档标注最相关的标签。这是一个具有挑战性的问题,尤其是对于尾部标签,因为用于构建分类器的训练文档数量非常有限。本文旨在通过利用文档内容和标签相关性,更好地探索每个文档与极端标签之间的语义关系。我们的目标是使用一种混合注意力深度神经网络模型(Label-Aware Hybrid Attention, LAHA)为每个文档建立显式的标签感知表示。LAHA由三部分组成。第一部分采用多标签自注意力机制来检测每个词对标签的贡献度。第二部分利用标签结构和文档内容,在同一潜在空间中确定词与标签之间的语义联系。第三部分设计了一种自适应融合策略,以获得最终的标签感知文档表示,从而充分整合前两部分的本质特征。我们已在六个基准数据集上进行了广泛的实验,并与最先进的方法进行了比较。结果表明,我们提出的LAHA方法在尾部标签上的表现尤为优越。
代码仓库
HX-idiot/Hybrid_Attention_XML
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multi-label-text-classification-on-aapd | LAHA | P@1: 84.48 P@3: 60.72 P@5: 41.19 nDCG@3: 80.11 nDCG@5: 83.7 |
| multi-label-text-classification-on-amazon-12k | LAHA | P@1: 94.87 P@3: 79.16 P@5: 63.16 nDCG@3: 89.13 nDCG@5: 87.57 |
| multi-label-text-classification-on-eur-lex | LAHA | P@1: 74.95 P@3: 61.48 P@5: 50.71 nDCG@3: 64.89 nDCG@5: 59.28 |
| multi-label-text-classification-on-kan-shan | LAHA | P@1: 54.38 P@3: 34.6 P@5: 25.88 nDCG@3: 51.7 nDCG@5: 54.65 |
| multi-label-text-classification-on-wiki-30k | LAHA | P@1: 84.18 P@3: 73.14 P@5: 62.87 nDCG@3: 75.64 nDCG@5: 67.82 |