摘要

我们研究的是引导式图像到图像的转换问题，即在遵循外部用户提供的引导图像所设定约束的前提下，将输入图像转换为另一幅图像。此前已探索了多种利用引导图像的条件化方法，包括输入拼接、特征拼接以及对特征激活进行条件化仿射变换等。然而，这些条件化机制均为单向的，即信息仅从引导图像流向输入图像，而缺乏从输入图像反馈至引导图像的信息流动。为更充分地利用引导图像的约束信息，本文提出了一种双向特征变换（bi-directional feature transformation, bFT）机制。实验结果表明，所提出的bFT机制在多种任务上均优于其他条件化方法，并达到了与当前最先进方法相当的性能表现。