4 个月前

领域对抗神经网络训练

领域对抗神经网络训练

摘要

我们介绍了一种新的领域适应表示学习方法,该方法在训练数据和测试数据来自相似但不同的分布时适用。我们的方法直接借鉴了领域适应理论的建议,即为了实现有效的领域迁移,预测必须基于无法区分源域(训练)和目标域(测试)特征来进行。该方法在神经网络架构中实现了这一理念,这些架构使用来自源域的标记数据和来自目标域的未标记数据进行训练(无需目标域的标记数据)。随着训练的进行,该方法促进了以下两类特征的出现:(i) 对源域主要学习任务具有判别性的特征;(ii) 对于领域之间的偏移不具判别性的特征。我们展示了这种适应行为可以通过在几乎任何前馈模型中添加几个标准层和一个新的梯度反转层来实现。增强后的架构可以使用标准反向传播和随机梯度下降进行训练,因此可以轻松地利用任何深度学习软件包实现。我们在两个不同的分类问题上验证了该方法的成功:文档情感分析和图像分类,在标准基准测试中达到了最先进的领域适应性能。此外,我们还在人员再识别应用中的描述符学习任务上验证了该方法的有效性。

代码仓库

vict0rsch/arxiv-pdf-abs
pytorch
GitHub 中提及
MarvinMartin24/MADA-PL
pytorch
GitHub 中提及
thuml/Transfer-Learning-Library
pytorch
GitHub 中提及
vcoyette/DANN
pytorch
GitHub 中提及
facebookresearch/DomainBed
pytorch
GitHub 中提及
lywang12/cupi-domain
pytorch
GitHub 中提及
mashaan14/DANN-toy
pytorch
GitHub 中提及
tachitachi/GradientReversal
tf
GitHub 中提及
timgaripov/asa
pytorch
GitHub 中提及
vict0rsch/PaperMemory
pytorch
GitHub 中提及
vihari/crossgrad
tf
GitHub 中提及
gentlezhu/shift-robust-gnns
pytorch
GitHub 中提及
dv-fenix/Domain-Adaptation
pytorch
GitHub 中提及
erlendd/ddan
tf
GitHub 中提及
ShichengChen/WaveNetSeparateAudio
pytorch
GitHub 中提及
lywang12/cuti-domain
pytorch
GitHub 中提及
vict0rsch/ArxivTools
pytorch
GitHub 中提及
lzx6/pytorch_DA
pytorch
GitHub 中提及
antoinedemathelin/wann
tf
GitHub 中提及
sangdon/pac-ps-w
pytorch
GitHub 中提及
criteo-research/pytorch-ada
pytorch
GitHub 中提及
calico/scnym
pytorch
GitHub 中提及

基准测试

基准方法指标
domain-adaptation-on-mnist-to-mnist-mDANN [ganin2016domain]
Accuracy: 77.4
domain-adaptation-on-svnh-to-mnistDANN [ganin2016domain]
Accuracy: 70.7
domain-adaptation-on-synth-digits-to-svhnDANN [ganin2016domain]
Accuracy: 90.3
sentiment-analysis-on-multi-domain-sentimentDANN
Average: 76.26
Books: 71.43
DVD: 75.4
Electronics: 77.67
Kitchen: 80.53
synthetic-to-real-translation-on-syn2real-cDANN
Accuracy: 57.4
unsupervised-domain-adaptation-on-epicDANN
Average Accuracy: 39.2
unsupervised-domain-adaptation-on-hmdb-ucfDANN
Accuracy: 88.09
unsupervised-domain-adaptation-on-jester-1DANN
Accuracy: 55.4
unsupervised-domain-adaptation-on-office-homeDANN [cite:JMLR16RevGrad]
Accuracy: 76.8
unsupervised-domain-adaptation-on-ucf-hmdbDANN
Accuracy: 80.83

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
领域对抗神经网络训练 | 论文 | HyperAI超神经