
摘要
我们介绍了一种从输入场景图生成图像的方法。该方法将布局嵌入和外观嵌入分开处理。双重嵌入使得生成的图像更好地匹配场景图,具有更高的视觉质量,并支持更复杂的场景图。此外,嵌入方案还支持每个场景图生成多个且多样的输出图像,用户可以进一步控制这些图像。我们展示了两种对象级别的控制模式:(i) 从其他图像中导入元素,以及 (ii) 通过选择一个外观原型在对象空间中导航。我们的代码已公开发布在 https://www.github.com/ashual/scene_generation 上。
代码仓库
Touyuki/Cover_generation
pytorch
GitHub 中提及
ashual/scene_generation
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| layout-to-image-generation-on-coco-stuff-2 | SOARISG | FID: 48.7 Inception Score: 10.3 |
| layout-to-image-generation-on-coco-stuff-3 | SOARISG | FID: 59.5 Inception Score: 12.5 SceneFID: 33.46 |