摘要

语义关键点为多种视觉理解任务提供了简洁的抽象表示。现有的方法为每个类别分别定义了固定数量的语义标签及其固定的索引。因此，当对象具有不同数量的部件时（例如椅子的腿数不同），这种关键点表示方法变得不可行。我们提出了一种类别无关的关键点表示方法，该方法结合了所有关键点的多峰热图（StarMap）及其对应特征在规范视角下的3D位置（CanViewFeature），这些特征是针对每个实例定义的。我们的直觉是，规范对象视图中关键点的3D位置包含了丰富的语义和组成信息。通过使用我们灵活的表示方法，我们在关键点检测和定位方面展示了与特定类别最先进的方法相当的竞争性能。此外，我们还证明了当增加一个额外的深度通道（DepthMap）以将2D关键点提升到3D时，我们的表示方法可以在视点估计中达到最先进的结果。最后，我们展示了我们的类别无关关键点表示方法可以推广到新的类别。