摘要

本文提出DeepSIM，一种基于单张图像的条件图像编辑生成模型。我们发现，充分的数据增强是实现单图像训练的关键，因此引入了薄板样条（Thin-Plate Spline, TPS）作为有效的增强手段。我们的网络学习从图像的原始表征（primitive representation）到真实图像之间的映射关系。原始表征的选择直接影响图像编辑的便捷性与表达能力，其形式可以是自动获取的（如边缘）、人工标注的（如分割图），或二者结合的混合形式（如在分割图基础上叠加边缘信息）。在进行图像编辑时，用户可通过修改原始输入表征，并将其输入网络，从而实现复杂的图像变化。实验结果表明，该方法在各类图像编辑任务中均取得了卓越的性能。