
摘要
无监督图像到图像翻译旨在通过使用来自各个域边缘分布的图像来学习不同域中图像的联合分布。由于存在无限多的联合分布可以产生给定的边缘分布,因此在没有额外假设的情况下,无法从边缘分布推断出联合分布的任何信息。为了解决这一问题,我们提出了一个共享潜在空间假设,并基于耦合生成对抗网络(Coupled GANs)提出了一种无监督图像到图像翻译框架。我们将所提出的框架与竞争方法进行了比较,并展示了在各种具有挑战性的无监督图像翻译任务中的高质量图像翻译结果,包括街景图像翻译、动物图像翻译和人脸图像翻译。此外,我们将该框架应用于领域适应,并在基准数据集上取得了最先进的性能。代码和更多结果可在 https://github.com/mingyuliutw/unit 获取。
代码仓库
kanhereashwin/cs236-project
pytorch
GitHub 中提及
hthoai/UI2IT
pytorch
GitHub 中提及
Wenchao-Du/LIR-for-Unsupervised-IR
pytorch
GitHub 中提及
mingyuliutw/UNIT
官方
pytorch
GitHub 中提及
SeniorDev009/ONNX-project
pytorch
GitHub 中提及
taki0112/UNIT-Tensorflow
tf
GitHub 中提及
eriklindernoren/PyTorch-GAN
pytorch
GitHub 中提及
SoonminHwang/rgbt-ped-detection
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| multimodal-unsupervised-image-to-image | UNIT | CIS: 0.115 IS: 0.826 |
| multimodal-unsupervised-image-to-image-1 | UNIT | Diversity: 0.023 Quality: 37.3% |
| multimodal-unsupervised-image-to-image-2 | UNIT | Diversity: 0.011 Quality: 37.4% |
| multimodal-unsupervised-image-to-image-3 | UNIT | PSNR: 15.33 |
| unsupervised-image-to-image-translation-on-1 | UNIT | PSNR: 9.42 |