摘要

无监督方法在当今的自然语言处理（NLP）研究中广泛用于学习词的分布式表示，但关于从无标签数据中学习短语或句子的分布式表示的最佳方法知之甚少。本文对学习此类表示的模型进行了系统比较。我们发现，最优方法在很大程度上取决于预期的应用场景。对于要在监督系统中使用的表示，更深、更复杂的模型更为可取；而对于构建可以通过简单空间距离度量进行解码的表示空间，浅层对数线性模型则表现最佳。此外，我们还提出了两个新的无监督表示学习目标，旨在优化训练时间、领域可移植性和性能之间的权衡。