摘要

尽管在大规模文本到图像生成和文本条件下的图像编辑方面取得了成功，现有的方法仍然难以产生一致的生成和编辑结果。例如，生成方法通常无法合成同一对象或角色的不同视角或姿态的多张图像。同时，现有的编辑方法要么在保持整体纹理和身份的同时无法实现有效的复杂非刚性编辑，要么需要耗时的微调以捕捉特定图像的外观特征。本文中，我们开发了MasaCtrl，这是一种无需微调的方法，可以同时实现一致的图像生成和复杂的非刚性图像编辑。具体而言，MasaCtrl将扩散模型中的现有自注意力机制转换为互自注意力机制，从而可以从源图像中查询相关联的局部内容和纹理以确保一致性。为了进一步缓解前景和背景之间的查询混淆问题，我们提出了一种基于掩码引导的互自注意力策略，其中掩码可以轻松从交叉注意力图中提取。广泛的实验表明，所提出的MasaCtrl在一致的图像生成和复杂的非刚性真实图像编辑方面均能产生令人印象深刻的结果。