摘要

混合Softmax（Mixture of Softmaxes, MoS）已被证明在解决基于Softmax模型的表达能力限制方面具有有效性。尽管已知其优势，但由于需要计算多个Softmax，MoS在实际应用中因巨大的内存和计算时间消耗而受到限制。在这项工作中，我们通过研究改进的词编码方案来释放MoS在实际应用中的潜力，这些方案可以有效减少词汇表的大小，从而减轻内存和计算负担。我们展示了字节对编码（Byte Pair Encoding, BPE）和我们提出的Hybrid-LightRNN均能带来改进的编码机制，在不损失性能的情况下将MoS的时间和内存消耗减半。借助MoS，我们在IWSLT 2014德语到英语语料库上实现了1.5个BLEU分数的提升，在图像描述生成任务上实现了0.76个CIDEr分数的提升。此外，在较大的WMT 2014机器翻译数据集上，我们的增强型Transformer模型在英译德任务中达到了29.5的BLEU分数，在英译法任务中达到了42.1的BLEU分数，分别比单Softmax Transformer模型高出0.8和0.4个BLEU分数，并且在WMT 2014英译德任务中取得了当前最佳的结果。