4 个月前

负提示反转:基于文本引导扩散模型的快速图像反转以进行编辑

负提示反转:基于文本引导扩散模型的快速图像反转以进行编辑

摘要

在使用扩散模型进行图像编辑时,保持对原始图像的重建保真度同时改变其风格至关重要。尽管现有方法通过优化确保了重建保真度,但这些方法的一个缺点是优化所需的时间显著较长。本文提出了一种称为负提示反演(negative-prompt inversion)的方法,该方法仅通过前向传播即可实现等效的重建,无需进行优化,从而实现了超快速的编辑过程。实验结果表明,我们的方法在重建保真度上与现有方法相当,能够在大约5秒内以512像素分辨率和50个采样步骤完成反演,比空文本反演(null-text inversion)快30倍以上。所提出的方法减少计算时间还使得我们可以在扩散模型中使用更多的采样步骤来提高重建保真度,而计算时间的增加则相对温和。

基准测试

基准方法指标
text-based-image-editing-on-pie-benchNegative-Prompt Inversion+Prompt-to-Prompt
Background LPIPS: 69.01
Background PSNR: 26.21
CLIPSIM: 24.61
Structure Distance: 16.17

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
负提示反转:基于文本引导扩散模型的快速图像反转以进行编辑 | 论文 | HyperAI超神经