摘要

利用智能设计的基于神经网络的模型，文本分类的性能得到了显著提升，特别是那些将类别元数据作为附加信息注入的模型，例如在情感分类中使用用户/产品信息。这些信息被用于修改模型的部分组件（如词嵌入、注意力机制），从而使结果可以根据元数据进行定制。然而，我们观察到当前为人类消费而设计的类别元数据表示方法，在流行的分类方法中并没有像宣称的那样有效，甚至在句子编码器的最后一层简单拼接类别特征就能取得更好的效果。我们推测，类别特征对于机器来说更难以表示，因为可用的上下文只能间接描述类别，而且这种上下文往往很少（尤其是长尾类别）。为此，我们提出使用基向量来有效地将类别元数据整合到基于神经网络的模型的不同部分。这还显著减少了参数数量，尤其是在类别特征数量较多时。我们在具有不同特性的多个数据集上进行了广泛的实验，结果显示通过我们的方法可以更有效地表示类别元数据以定制模型的不同部分（包括未探索的部分），并大幅提高模型性能。