摘要

多情感态分类是自然语言处理（NLP）领域的一个具有实际应用价值的问题。我们展示了大规模无监督语言模型与微调相结合的方法在处理复杂数据集时的有效性，包括标签类别不平衡和特定领域上下文的数据集。通过在40GB的文本（亚马逊评论）上训练基于注意力机制的Transformer网络（Vaswani等，2017），并在训练集上进行微调，我们的模型在SemEval任务1:E-c多维情感分类问题（Mohammad等，2018）中达到了0.69的F1分数，该问题基于普拉切克情感轮盘（Plutchik，1979）。这些结果与最先进模型相当，特别是在“恐惧”（0.73）、“厌恶”（0.77）和“愤怒”（0.78）等难以分类的情感类别中表现出色，同时在罕见类别如“期待”（0.42）和“惊讶”（0.37）中也取得了有竞争力的结果。此外，我们在一个现实世界的文本分类任务中展示了该方法的应用。我们构建了一个针对多个主题的真实推文的小规模收集文本数据集，并证明了我们的微调模型在这个数据集上的情感和多维情感分类性能显著优于通用的商业API。我们还进行了多种附加研究，探讨了实现实用多维情感分类的深度学习架构、数据集和算法的特性。总体而言，我们发现无监督语言模型与微调相结合是一个简单而有效的框架，能够在现实世界的情感分类任务中取得高质量的结果。