摘要

利用基于LiDAR的检测器或真实的LiDAR点云数据来引导单目3D检测，已带来显著性能提升，例如伪LiDAR（Pseudo-LiDAR）方法。然而，现有方法通常采用非端到端的训练策略，且对LiDAR信息的利用不够充分，导致LiDAR数据所蕴含的丰富潜力未能得到充分挖掘。为此，本文提出一种跨模态知识蒸馏（Cross-Modality Knowledge Distillation, CMKD）网络，用于单目3D检测，能够高效且直接地将LiDAR模态的知识在特征层面和响应层面迁移至图像模态。此外，我们进一步将CMKD扩展为一种半监督训练框架，通过从大规模无标签数据中蒸馏知识，显著提升检测性能。截至投稿时，CMKD在KITTI测试集和Waymo验证集上的单目3D检测任务中均位列第一，相较于此前的最先进方法，取得了显著的性能提升。