摘要

我们描述了一种用于无监督学习的通用分布式句子编码器的方法。通过利用书籍中文字的连续性，我们训练了一个编码器-解码器模型，该模型试图重建编码段落周围的句子。因此，具有相似语义和句法属性的句子被映射到类似的向量表示。接下来，我们引入了一种简单的词汇扩展方法，以对训练过程中未见过的词语进行编码，从而使我们的词汇量可以扩展到一百万个词语。在训练完我们的模型后，我们提取并使用线性模型在8个任务上评估了这些向量：语义相关性、同义句检测、图像-句子排序、问题类型分类以及4个基准情感和主观性数据集。最终结果是一个现成的编码器，它可以生成高度通用且稳健的句子表示，在实际应用中表现出色。我们将公开发布此编码器。