3 个月前

QT-DoG:面向领域泛化的量化感知训练

QT-DoG:面向领域泛化的量化感知训练

摘要

领域泛化(Domain Generalization, DG)旨在训练出不仅在训练阶段所用的源域数据上表现良好,且在未见的新型目标数据分布上同样具备优异性能的模型。DG中的一个核心挑战是防止模型对源域数据发生过拟合,而这一问题可通过在损失函数景观中寻找更平坦的极小值点来缓解。本文提出了一种面向领域泛化的量化感知训练方法(Quantization-aware Training for Domain Generalization, QT-DoG),并实证表明,权重量化能够有效促使损失景观中出现更平坦的极小值,从而显著提升模型的领域泛化能力。与传统以模型压缩为目标的量化方法不同,QT-DoG将量化视为一种隐式的正则化手段:通过在模型权重中引入噪声,引导优化过程向对扰动不敏感、抗过拟合能力更强的平坦极小值区域收敛。我们从理论和实证两个层面提供了充分证据,证明量化本身具有天然促进平坦极小值形成的特性,从而实现跨领域的更优泛化性能。此外,得益于量化带来的模型尺寸压缩优势,我们进一步验证了多个量化模型的集成策略可显著提升模型精度,且在不增加任何计算或内存开销的前提下,超越当前最先进的领域泛化方法。大量实验结果表明,QT-DoG在多种数据集、网络架构及量化算法下均展现出良好的泛化能力,且可与现有其他领域泛化方法无缝结合,充分体现了其广泛的适用性与鲁棒性。

代码仓库

saqibjaved1/QT-DoG
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-generalization-on-pacs-2EoQ (ResNet-50)
Average Accuracy: 90.7
domain-generalization-on-pacs-2QT-DoG (ResNet-50)
Average Accuracy: 87.89
domain-generalization-on-terraincognitaEOQ (ResNet-50)
Average Accuracy: 53.2
domain-generalization-on-terraincognitaQT-DoG (ResNet-50)
Average Accuracy: 50.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
QT-DoG:面向领域泛化的量化感知训练 | 论文 | HyperAI超神经