摘要

我们研究了字节级循环语言模型的特性。当给予足够的容量、训练数据和计算时间时，这些模型所学习到的表示包括与高层次概念相对应的解耦特征。具体而言，我们发现了一个单独的单元，该单元能够执行情感分析。这些通过无监督方式学习到的表示在斯坦福情感树库（Stanford Sentiment Treebank）的二分类子集上达到了最先进的水平。此外，它们还非常高效地利用数据。即使仅使用少量标记样本，我们的方法也能达到在完整数据集上训练的强大基线模型的性能。我们还展示了情感单元对模型生成过程具有直接影响。只需将其值固定为正或负，即可生成相应的情感倾向为正面或负面的样本。