近期的研究报告表明，一个在大规模数据集上训练的通用监督深度卷积神经网络（CNN）模型可以减少但无法完全消除标准基准测试中的数据集偏差。在新领域中微调深度模型通常需要大量的数据，而这些数据对于许多应用来说往往难以获取。我们提出了一种新的CNN架构，该架构引入了一个适应层和额外的领域混淆损失，以学习既具有语义意义又具有领域不变性的表示。此外，我们还展示了领域混淆度量可以用于模型选择，以确定适应层的维度及其在CNN架构中的最佳位置。我们提出的适应方法在标准基准视觉域适应任务上的实证性能超过了先前已发表的结果。