摘要

近期大量研究致力于语义条件下的图像生成。大多数方法集中在姿态迁移这一较窄的任务上，而忽略了更具挑战性的主体迁移任务，该任务不仅涉及姿态的迁移，还包括外观和背景的迁移。在本研究中，我们引入了SCAM（Semantic Cross Attention Modulation），这是一种系统，能够在图像的每个语义区域（包括前景和背景）中编码丰富多样的信息，从而实现对细节精确控制的图像生成。通过使用语义注意力变换器编码器提取每个语义区域的多个潜在向量，并利用这些多个潜在向量进行语义交叉注意力调制的生成器来实现这一点。该系统仅在重建设置下进行训练，而在测试时执行主体迁移。我们的分析表明，所提出的架构成功地编码了每个语义区域外观的多样性。在iDesigner和CelebAMask-HD数据集上的广泛实验显示，SCAM优于SEAN和SPADE；此外，它在主体迁移任务上树立了新的技术标杆。