HyperAIHyperAI

Command Palette

Search for a command to run...

FreeMorph:无需调参的扩散模型通用图像变形

Yukang Cao Chenyang Si Jinghao Wang Ziwei Liu

Abstract

我们介绍了FreeMorph,这是首个无需调参的图像变形方法,能够处理具有不同语义或布局的输入。现有的方法依赖于微调预训练扩散模型,受到时间限制和语义/布局差异的制约,而FreeMorph则无需针对每个实例进行训练即可实现高保真图像变形。尽管这些无调参方法在效率和潜力方面表现出色,但由于多步骤去噪过程的非线性特性和预训练扩散模型继承的偏差,它们在保持高质量结果方面仍面临挑战。本文中,我们通过集成两项关键创新来解决这些问题。1)首先,我们提出了一种引导感知的球面插值设计,通过修改自注意力模块来显式地利用输入图像的引导信息,从而解决了身份丢失问题并确保生成序列中的方向过渡。2)此外,我们引入了一种面向步骤的变化趋势,将从每个输入图像派生的自注意力模块进行融合,以实现受控且一致的过渡,同时尊重两个输入图像。我们的大量评估表明,FreeMorph在速度上比现有方法快10倍至50倍,并且在图像变形领域树立了新的最先进水平。


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
FreeMorph:无需调参的扩散模型通用图像变形 | Papers | HyperAI超神经