摘要

虽然预训练的大规模视觉模型在语义对应方面展现出显著的潜力，但它们的特征往往难以捕捉实例的几何形状和方向。本文指出了在语义对应中具备几何意识的重要性，并揭示了当前基础模型特征在简单后处理下的局限性。我们展示了通过结合这些信息，可以显著提高零样本和监督设置下的语义对应性能，方法简单但效果显著。此外，我们还构建了一个新的具有挑战性的语义对应基准测试，该基准测试基于现有的动物姿态估计数据集，适用于预训练和验证模型。我们的方法在具有挑战性的SPair-71k数据集上取得了PCK@0.10分数为65.4（零样本）和85.6（监督）的成绩，分别比现有最佳方法绝对提高了5.5个百分点和11.0个百分点。我们的代码和数据集已公开发布于：https://telling-left-from-right.github.io/。