摘要

许多现代自然语言处理（NLP）系统依赖于预先在大规模语料库上以无监督方式训练的词嵌入作为基础特征。然而，对于更大文本片段（如句子）的嵌入获取工作却未能取得同样的成功。此前尝试学习句子的无监督表示方法尚未达到令人满意的性能，因此未能被广泛采用。本文展示了如何利用斯坦福自然语言推理数据集中的有监督数据训练通用句子表示，这些表示在广泛的迁移任务中能够持续优于无监督方法（如SkipThought向量）。类似于计算机视觉领域使用ImageNet获取特征并将其迁移到其他任务的方式，我们的研究结果表明自然语言推理适用于将学到的特征迁移到其他自然语言处理任务。我们的编码器已公开提供。