摘要
扩散模型最近在生成高保真照片级真实图像方面取得了令人瞩目的性能。尽管它们取得了巨大成功，但当无法获取真实图像时，合成图像是否适用于知识蒸馏仍不清楚。本文中，我们广泛研究了来自最先进扩散模型的合成图像在没有真实图像的情况下能否用于知识蒸馏，并得出了三个关键结论：（1）扩散模型生成的合成数据在现有的基于合成的蒸馏方法中可以轻松达到最先进水平；（2）低保真度的合成图像是更好的教学材料；（3）相对较弱的分类器是更好的教师。代码可在 https://github.com/zhengli97/DM-KD 获取。
代码仓库
zhengli97/dm-kd
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| few-shot-learning-on-dtd | Real-Guidance + CAL | 12-shot Accuracy: 54.5 16-shot Accuracy: 57.4 4-shot Accuracy: 41.5 8-shot Accuracy: 50.6 |
| few-shot-learning-on-fgvc-aircraft-1 | Real-Guidance + CAL | 12-shot Accuracy: 65.8 16-shot Accuracy: 72.5 4-shot Accuracy: 34.5 8-shot Accuracy: 54.6 Harmonic mean: 34.5 |
| few-shot-learning-on-stanford-cars | Real-Guidance + CAL | 12-shot Accuracy: 83.9 16-shot Accuracy: 88.3 4-shot Accuracy: 44.3 8-shot Accuracy: 73.1 |
| mitigating-contextual-bias-on-fgvc-aircraft | CAL + Real-Guidance | OOD Accuracy (%): 17.7 Top-1 Accuracy (%): 71.7 |