摘要

深度特征是计算机视觉研究的基石，能够捕捉图像语义，并使研究社区能够在零样本或少样本条件下解决下游任务。然而，这些特征通常缺乏足够的空间分辨率，无法直接执行如分割和深度预测等密集预测任务，因为模型在较大区域上进行了激进的信息池化。在这项工作中，我们引入了FeatUp，这是一种与任务和模型无关的框架，用于恢复深度特征中丢失的空间信息。我们提出了两种FeatUp变体：一种是在单次前向传递中利用高分辨率信号引导特征；另一种是拟合一个隐式模型到单个图像上，以在任意分辨率下重建特征。这两种方法都使用了多视图一致性损失，并借鉴了NeRF（神经辐射场）的概念。我们的特征保留了原有的语义信息，并且可以在现有应用中替换使用，从而在无需重新训练的情况下获得分辨率和性能的提升。我们展示了FeatUp在类别激活图生成、分割和深度预测的迁移学习以及语义分割的端到端训练中显著优于其他特征上采样和图像超分辨率方法。