摘要

在图像中检测物体并估计其视角是3D场景理解的关键任务。近年来，针对物体检测和视角估计的非常大规模基准测试，相关方法已经取得了优异的结果。然而，对于样本数量较少的新物体类别，性能仍然落后。本文中，我们解决了少样本物体检测和少样本视角估计的问题。我们在两个任务上展示了利用从不同模态数据中提取的类别代表性特征引导网络预测的好处：用于物体检测的图像块和用于视角估计的对齐3D模型。尽管方法简单，但在包括PASCAL和COCO在内的少样本物体检测数据集以及Pascal3D+和ObjectNet3D在内的少样本视角估计数据集上，我们的方法均大幅超越了现有最先进方法。此外，在没有3D模型可用的情况下，我们通过利用不同类别的几何相似性和一致的姿态标签引入了一种简单的类别无关视角估计方法。虽然这种方法在一定程度上降低了性能，但在此设置下仍优于以往的方法。最后，我们首次同时解决这两个少样本任务，在三个具有挑战性的野外视角估计基准测试（ObjectNet3D、Pascal3D+和Pix3D）上展示了非常有前景的结果。