摘要

我们提出了一种利用深度上下文嵌入（contextual embeddings）进行多语言迁移的新方法，这些嵌入以无监督的方式预训练。尽管上下文嵌入已被证明在表示意义方面比静态嵌入更为丰富，但由于其动态特性，对齐它们仍是一个挑战。为此，我们构建了原始单语空间的上下文无关变体，并利用它们之间的映射来推导上下文相关空间的对齐。这种映射可以支持目标语言的处理，通过上下文感知嵌入提高迁移效果。实验结果表明，该方法在零样本学习和少样本学习的依存句法分析中具有有效性。具体而言，我们的方法在6种测试语言上始终优于先前的最先进方法，平均提高了6.8个LAS分数点。