摘要

文本到图像模型（Text-to-Image, T2I）如StableDiffusion已被用于生成高质量的人物图像。然而，由于生成过程的随机性，即使使用相同的文本提示，人物的外观（例如姿势、面部和服装）也会有所不同。这种外观不一致性使得T2I在姿态迁移任务中表现不佳。为了解决这一问题，我们提出了一种多模态扩散模型，该模型接受文本、姿态和视觉提示作为输入。我们的模型是首个统一的方法，能够执行所有人物图像任务——生成、姿态迁移和无掩码编辑。此外，我们还开创性地直接使用低维3D人体模型参数，展示了新的能力——在保持人物外观的同时实现姿态和摄像机视角的同步插值。