摘要

尽管大规模预训练模型生成的情境化嵌入在许多任务中表现出色，传统的静态嵌入（如Skip-gram、Word2Vec）由于其较低的计算成本、易于部署和稳定性，在低资源和轻量级场景中仍发挥着重要作用。本文旨在通过以下两种方法改进词嵌入：1）将现有预训练模型中的更多情境信息融入Skip-gram框架，我们称之为Context-to-Vec；2）提出一种独立于训练过程的静态嵌入后处理调整方法，利用先验同义词知识和加权向量分布。通过外在和内在任务的评估，我们的方法被证明在很大程度上优于基线方法。