摘要

学习句子嵌入通常需要大量标注数据。然而，在大多数任务和领域中，标注数据极为稀缺，且人工标注成本高昂。本文提出了一种基于预训练Transformer与序列去噪自编码器（TSDAE）的新一代无监督方法，其性能相比以往方法最高提升达6.4个百分点，并可达到领域内有监督方法93.1%的性能水平。此外，我们证明TSDAE在句子嵌入的领域自适应与预训练方面表现出色，显著优于诸如掩码语言模型（Masked Language Model）等其他方法。以往研究的一个关键缺陷在于评估范围过于狭窄：多数工作仅在语义文本相似性（Semantic Textual Similarity, STS）这一单一任务上进行评估，而该任务并不依赖特定领域知识。因此，这些方法在其他领域和任务上的泛化能力尚不明确。为弥补这一空白，我们对TSDAE及其他近期方法在四个来自异构领域的不同数据集上进行了系统评估，全面检验其跨领域适用性与泛化性能。