摘要

我们在法律领域研究大规模多标签文本分类（LMTC）。我们发布了一个新的数据集，包含来自EURLEX的57,000份立法文件，标注了约4,300个EUROVOC标签，适用于LMTC、少样本学习和零样本学习。通过实验多种神经分类器，我们发现带有标签级注意力机制的双向门控循环单元（BIGRU）比其他当前最先进的方法表现更好。特定领域的WORD2VEC和上下文敏感的ELMO嵌入进一步提高了性能。我们还发现，仅考虑文档中的特定部分就已足够。这使得我们可以绕过BERT的最大文本长度限制，并对BERT进行微调，在除零样本学习外的所有情况下均获得了最佳结果。