摘要

大规模预训练扩散模型的内部特征最近已被确立为强大的语义描述符，适用于广泛的下游任务。使用这些特征的研究通常需要在图像中添加噪声，然后将其输入模型以获取语义特征，因为当给定几乎没有噪声的图像时，模型提供的特征并不是最有用的。我们发现这种噪声对特征的有用性有关键影响，仅通过使用不同的随机噪声进行集成无法解决这一问题。为此，我们提出了一种轻量级、无监督的微调方法，使扩散模型能够提供高质量且无噪声的语义特征。实验结果表明，在多种提取设置和下游任务中，这些特征显著优于以往的扩散特征，并且在性能上超过了基于集成的方法，而成本却大大降低。