
摘要
领域适应对于在新的、未见过的环境中取得成功至关重要。应用于特征空间的对抗适应模型能够发现领域不变表示,但难以可视化,有时也无法捕捉像素级和低级别的领域变化。近期的研究表明,结合循环一致性约束的生成对抗网络在映射图像之间领域时表现出惊人的效果,即使没有使用对齐的图像对也是如此。我们提出了一种新颖的判别训练循环一致性对抗域适应模型(Cycle-Consistent Adversarial Domain Adaptation, CyCADA)。CyCADA 在像素级和特征级上都进行了表示适应,同时在利用任务损失的情况下强制执行循环一致性,并且不需要对齐的图像对。我们的模型可以应用于多种视觉识别和预测场景。我们在多个适应任务中展示了最新的前沿结果,包括数字分类和道路场景的语义分割,证明了从合成域到真实世界域的有效迁移。
代码仓库
thuml/Transfer-Learning-Library
pytorch
GitHub 中提及
jhoffman/cycada_release
官方
pytorch
GitHub 中提及
tkhkaeio/CyCADA
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-svhn-to-mnist | CYCADA | Accuracy: 90.4 |
| image-to-image-translation-on-synthia-fall-to | CyCADA | Per-pixel Accuracy: 92.1% fwIOU: 85.7 mIoU: 63.3 |
| synthetic-to-real-translation-on-gtav-to | CyCADA pixel-only | mIoU: 34.8 |
| synthetic-to-real-translation-on-gtav-to | CyCADA pixel+feat | Per-pixel Accuracy: 82.3% fwIOU: 72.4 mIoU: 39.5 |
| unsupervised-image-to-image-translation-on | CyCADA pixel+feat | Classification Accuracy: 90.4% |