摘要

近年来，借助预训练方法，情感分析取得了显著进展。然而，在预训练过程中，诸如情感词汇和方面-情感对等情感知识却被忽视了，尽管这些知识在传统的情感分析方法中被广泛使用。本文介绍了情感知识增强预训练（Sentiment Knowledge Enhanced Pre-training, SKEP），旨在为多种情感分析任务学习统一的情感表示。通过自动挖掘的知识，SKEP执行情感掩码并构建了三个情感知识预测目标，从而将词级、极性级和方面级的情感信息嵌入到预训练的情感表示中。特别是，方面-情感对的预测被转化为多标签分类问题，旨在捕捉一对词语之间的依赖关系。在三种不同类型的情感任务上的实验表明，SKEP显著优于强大的预训练基线模型，并在大多数测试数据集上实现了新的最先进结果。我们的代码已发布在 https://github.com/baidu/Senta。