摘要

多标签文本分类（Multi-Label Text Classification, MLTC）面临的一个主要挑战是如何有效挖掘标签之间的差异性与相关性。本文提出了一种名为标签感知预训练（Label-Wise Pre-Training, LW-PT）的方法，旨在获取蕴含标签感知信息的文档表示，以应对这一挑战。其核心思想是：一个多标签文档可被建模为多个标签粒度表示的组合，且具有相关性的标签往往在相同或相似的文档中共同出现。LW-PT通过构建标签粒度的文档分类任务，并训练独立的标签粒度文档编码器来实现该思想。最终，预训练得到的标签粒度编码器将在下游多标签文本分类任务上进行微调。大量实验结果表明，所提出的方法显著优于以往的最先进模型，并能够有效发现合理的标签间关系。相关代码已公开发布，以促进后续研究。