摘要

在个性化图像合成领域，诸如文本反转（Textual Inversion）、DreamBooth 和 LoRA 等方法已经取得了显著进展。然而，这些方法的实际应用受到高存储需求、漫长的微调过程以及需要多个参考图像的限制。相反，现有的基于身份嵌入的方法虽然只需要一次前向推理，但也面临一些挑战：它们要么需要对大量模型参数进行广泛的微调，要么与社区预训练模型不兼容，或者无法保持高面部保真度。为了解决这些问题，我们提出了一种强大的基于扩散模型的解决方案——InstantID。我们的即插即用模块能够仅使用一张面部图像，在多种风格下高效处理图像个性化问题，同时确保高保真度。为此，我们设计了一种新颖的 IdentityNet，通过施加强语义和弱空间条件，将面部图像和地标图像与文本提示相结合以引导图像生成。InstantID 展现了卓越的性能和效率，在实际应用中特别是在需要高度身份保留的情况下表现出色。此外，我们的工作可以无缝集成到流行的预训练文本到图像扩散模型如 SD1.5 和 SDXL 中，作为可适应的插件。我们的代码和预训练检查点将在 https://github.com/InstantID/InstantID 上提供。