4 个月前

无监督图像到图像转换网络

无监督图像到图像转换网络

摘要

无监督图像到图像翻译旨在通过使用来自各个域边缘分布的图像来学习不同域中图像的联合分布。由于存在无限多的联合分布可以产生给定的边缘分布,因此在没有额外假设的情况下,无法从边缘分布推断出联合分布的任何信息。为了解决这一问题,我们提出了一个共享潜在空间假设,并基于耦合生成对抗网络(Coupled GANs)提出了一种无监督图像到图像翻译框架。我们将所提出的框架与竞争方法进行了比较,并展示了在各种具有挑战性的无监督图像翻译任务中的高质量图像翻译结果,包括街景图像翻译、动物图像翻译和人脸图像翻译。此外,我们将该框架应用于领域适应,并在基准数据集上取得了最先进的性能。代码和更多结果可在 https://github.com/mingyuliutw/unit 获取。

代码仓库

kanhereashwin/cs236-project
pytorch
GitHub 中提及
hthoai/UI2IT
pytorch
GitHub 中提及
Wenchao-Du/LIR-for-Unsupervised-IR
pytorch
GitHub 中提及
mingyuliutw/UNIT
官方
pytorch
GitHub 中提及
SeniorDev009/ONNX-project
pytorch
GitHub 中提及
taki0112/UNIT-Tensorflow
tf
GitHub 中提及
eriklindernoren/PyTorch-GAN
pytorch
GitHub 中提及

基准测试

基准方法指标
multimodal-unsupervised-image-to-imageUNIT
CIS: 0.115
IS: 0.826
multimodal-unsupervised-image-to-image-1UNIT
Diversity: 0.023
Quality: 37.3%
multimodal-unsupervised-image-to-image-2UNIT
Diversity: 0.011
Quality: 37.4%
multimodal-unsupervised-image-to-image-3UNIT
PSNR: 15.33
unsupervised-image-to-image-translation-on-1UNIT
PSNR: 9.42

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
无监督图像到图像转换网络 | 论文 | HyperAI超神经