摘要

自然语言处理（NLP）模型通常需要大量的参数来生成词嵌入，这导致了较大的存储或内存占用。将神经网络NLP模型部署到移动设备上时，需要在不显著牺牲性能的前提下压缩词嵌入。为此，我们提出了一种基于少量基向量构建词嵌入的方法。对于每个词，其基向量的组合由一个哈希码确定。为了最大化压缩率，我们采用了多码本量化方法而非二进制编码方案。每个码由多个离散数字组成，例如（3, 2, 1, 8），其中每个分量的值限制在一个固定的范围内。我们建议通过应用Gumbel-softmax技巧，在端到端神经网络中直接学习这些离散码。实验结果表明，在情感分析任务中，该方法的压缩率达到98%，而在机器翻译任务中，压缩率达到了94%~99%，且未造成性能损失。在上述两种任务中，所提出的 方法可以通过略微降低压缩率来提升模型性能。与其他方法（如字符级切分）相比，该方法具有语言无关性，并且不需要对网络架构进行修改。