
摘要
卷积神经网络(CNNs)在面对新的测试域时,通常无法保持其性能,这一问题被称为域偏移。近期研究表明,导致这一问题的主要原因之一是CNNs对图像风格(即纹理)具有强烈的归纳偏差,而这些风格对域变化非常敏感,而不是对内容(即形状)。受此启发,我们提出减少CNNs的内在风格偏差以缩小不同域之间的差距。我们的风格无关网络(Style-Agnostic Networks, SagNets)将风格编码与类别解耦,防止基于风格的预测偏差,并更加关注内容。大量实验表明,我们的方法有效减少了风格偏差,并使模型在域偏移情况下更具鲁棒性。该方法在多个数据集上的跨域任务中表现出显著的性能提升,包括域泛化、无监督域适应和半监督域适应。
代码仓库
facebookresearch/DomainBed
pytorch
GitHub 中提及
hyeonseobnam/style-agnostic-networks
pytorch
GitHub 中提及
hyeonseobnam/sagnet
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-generalization-on-office-home | SagNet (ResNet-18) | Average Accuracy: 62.34 |
| domain-generalization-on-pacs-2 | SagNet (Resnet-18) | Average Accuracy: 83.25 |
| domain-generalization-on-pacs-2 | SagNet (Resnet-50) | Average Accuracy: 82.3 |
| domain-generalization-on-pacs-2 | SagNet (Alexnet) | Average Accuracy: 75.52 |
| image-to-sketch-recognition-on-pacs | SagNet (ResNet18) | Accuracy: 40.7 |
| single-source-domain-generalization-on-pacs | SagNet (ResNet18) | Accuracy: 61.9 |