摘要

在对句子中不同词语进行情感极性检测时，必须结合词语周围的上下文信息来理解其情感倾向。大规模预训练语言模型（如BERT）不仅能够编码文档中的词汇本身，还能同时捕捉词汇所处的上下文语境。这引出了两个关键问题：“预训练语言模型是否能自动编码每个词语的情感信息？”以及“是否可用于推断不同方面的情感极性？”在本研究中，我们通过实证表明：将BERT生成的上下文嵌入（contextual embedding）与通用词嵌入（generic word embedding）进行对比，即可有效推断情感极性。此外，我们进一步发现，若对基于BERT与通用词嵌入对比构建的模型进行部分权重微调（fine-tuning），该方法在基于方面的情感分类（Aspect-Based Sentiment Classification）数据集上可达到当前最优（state-of-the-art）的极性检测性能。