摘要

扩散模型近期彻底改变了文本到图像生成领域。其独特的文本与图像信息融合方式，使其具备生成高度契合文本语义图像的卓越能力。从另一个角度而言，这类生成模型隐含着词语与像素之间精确对应关系的重要线索。本文提出了一种简单而有效的方法，直接利用文本到图像扩散模型去噪网络中的注意力机制，无需重新训练或推理时的优化，即可实现短语的语义定位。我们在弱监督语义分割设置下，于Pascal VOC 2012和Microsoft COCO 2014数据集上对所提方法进行了评估，结果表明其性能显著优于现有方法。此外，我们发现所获得的词-像素关联具有良好的泛化能力，可直接适用于自定义生成方法所学习的文本嵌入表示，仅需少量修改即可实现迁移。为验证该发现，我们引入了一项新的实用任务——“个性化指代图像分割”（personalized referring image segmentation），并构建了相应的全新数据集。在多种场景下的实验结果表明，与强基线方法相比，本方法在该任务上展现出显著优势。综上所述，本工作揭示了一种从扩散模型中提取丰富多模态知识以用于图像分割的新途径。