4 个月前

在交互式场景生成中指定对象属性和关系

在交互式场景生成中指定对象属性和关系

摘要

我们介绍了一种从输入场景图生成图像的方法。该方法将布局嵌入和外观嵌入分开处理。双重嵌入使得生成的图像更好地匹配场景图,具有更高的视觉质量,并支持更复杂的场景图。此外,嵌入方案还支持每个场景图生成多个且多样的输出图像,用户可以进一步控制这些图像。我们展示了两种对象级别的控制模式:(i) 从其他图像中导入元素,以及 (ii) 通过选择一个外观原型在对象空间中导航。我们的代码已公开发布在 https://www.github.com/ashual/scene_generation 上。

代码仓库

Touyuki/Cover_generation
pytorch
GitHub 中提及
ashual/scene_generation
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
layout-to-image-generation-on-coco-stuff-2SOARISG
FID: 48.7
Inception Score: 10.3
layout-to-image-generation-on-coco-stuff-3SOARISG
FID: 59.5
Inception Score: 12.5
SceneFID: 33.46

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
在交互式场景生成中指定对象属性和关系 | 论文 | HyperAI超神经