摘要

神经网络量化是一种有效的方法，用于压缩深度模型并提高其执行延迟和能效，从而使其能够在移动或嵌入式设备上部署。现有的量化方法通常需要原始数据进行校准或微调以获得更好的性能。然而，在许多实际场景中，由于数据的机密性或隐私问题，原始数据可能无法获取，这使得现有的量化方法难以应用。此外，由于缺乏原始数据，最近开发的生成对抗网络（GANs）也无法用于生成数据。尽管全精度模型可能包含丰富的数据信息，但仅凭这些信息很难恢复原始数据或生成新的有意义的数据。在本文中，我们研究了一种简单而有效的方法，称为生成低比特宽度无数据量化（GDFQ），旨在消除对数据依赖的需求。具体而言，我们提出了一种知识匹配生成器，通过利用预训练模型中的分类边界知识和分布信息来生成有意义的虚假数据。借助生成的数据，我们可以从预训练模型中学习知识来进行模型量化。我们在三个数据集上进行了广泛的实验，证明了该方法的有效性。更重要的是，我们的方法在4位量化上的准确率远高于现有的无数据量化方法。代码可在 https://github.com/xushoukai/GDFQ 获取。