摘要

向量量化网络（Vector-quantized Networks, VQNs）在多种任务中展现出卓越的性能，但其训练过程易受不稳定性影响，这主要源于对精细初始化、模型蒸馏等技术的依赖。本研究发现，局部极小值问题是导致该不稳定性的重要根源。为解决这一问题，我们提出用最优传输（optimal transport）方法替代传统的最近邻搜索，以实现更具全局信息的向量分配。为此，我们提出了OptVQ——一种新型向量量化方法，该方法采用Sinkhorn算法求解最优传输问题，从而显著提升了训练过程的稳定性和效率。为进一步缓解不同数据分布对Sinkhorn算法的影响，我们设计了一种简单而有效的归一化策略。在图像重建任务上的大量实验表明，OptVQ实现了100%的码本利用率，并在重建质量上超越了当前最先进的VQN方法。