
摘要
领域泛化(Domain Generalization, DG)旨在训练出不仅在训练阶段所用的源域数据上表现良好,且在未见的新型目标数据分布上同样具备优异性能的模型。DG中的一个核心挑战是防止模型对源域数据发生过拟合,而这一问题可通过在损失函数景观中寻找更平坦的极小值点来缓解。本文提出了一种面向领域泛化的量化感知训练方法(Quantization-aware Training for Domain Generalization, QT-DoG),并实证表明,权重量化能够有效促使损失景观中出现更平坦的极小值,从而显著提升模型的领域泛化能力。与传统以模型压缩为目标的量化方法不同,QT-DoG将量化视为一种隐式的正则化手段:通过在模型权重中引入噪声,引导优化过程向对扰动不敏感、抗过拟合能力更强的平坦极小值区域收敛。我们从理论和实证两个层面提供了充分证据,证明量化本身具有天然促进平坦极小值形成的特性,从而实现跨领域的更优泛化性能。此外,得益于量化带来的模型尺寸压缩优势,我们进一步验证了多个量化模型的集成策略可显著提升模型精度,且在不增加任何计算或内存开销的前提下,超越当前最先进的领域泛化方法。大量实验结果表明,QT-DoG在多种数据集、网络架构及量化算法下均展现出良好的泛化能力,且可与现有其他领域泛化方法无缝结合,充分体现了其广泛的适用性与鲁棒性。
代码仓库
saqibjaved1/QT-DoG
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-generalization-on-pacs-2 | EoQ (ResNet-50) | Average Accuracy: 90.7 |
| domain-generalization-on-pacs-2 | QT-DoG (ResNet-50) | Average Accuracy: 87.89 |
| domain-generalization-on-terraincognita | EOQ (ResNet-50) | Average Accuracy: 53.2 |
| domain-generalization-on-terraincognita | QT-DoG (ResNet-50) | Average Accuracy: 50.8 |