4 个月前

对齐潜在空间和图像空间以连接不可连接的元素

对齐潜在空间和图像空间以连接不可连接的元素

摘要

在这项工作中,我们开发了一种方法来生成具有多样性和复杂内容的无限高分辨率图像。该方法基于一个完全等变(perfectly equivariant)的生成器,该生成器在图像空间和潜在空间中进行同步插值。当采样潜在代码时,它们会被放置在坐标网格上,每个像素则通过附近样式代码的插值计算得出。我们修改了AdaIN机制以适应这种设置,并在对抗环境中训练生成器,使其能够生成位于任意两个潜在向量之间的图像。在测试阶段,这使得可以生成复杂且多样的无限图像,并将任何两个不相关的场景连接成一个任意大小的全景图。此外,我们引入了LHQ:一个新的包含\lhqsize个高分辨率自然景观的数据集。我们在LHQ、LSUN Tower和LSUN Bridge数据集上测试了这种方法,在生成的无限图像的质量和多样性方面至少比基线方法提高了4倍。项目页面位于https://universome.github.io/alis。

代码仓库

universome/alis
pytorch
GitHub 中提及

基准测试

基准方法指标
infinite-image-generation-on-lhqALIS
InfinityFID: 7.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
对齐潜在空间和图像空间以连接不可连接的元素 | 论文 | HyperAI超神经