摘要

训练用于车道检测的深度模型具有挑战性，因为车道注释中包含的监督信号非常细微且稀疏。如果不能从更丰富的上下文中学习，这些模型在复杂场景下（例如严重遮挡、模糊车道和恶劣光照条件）往往表现不佳。本文提出了一种新颖的知识蒸馏方法——自注意力蒸馏（Self Attention Distillation, SAD），该方法允许模型从自身学习，并在无需任何额外监督或标签的情况下获得显著改进。具体而言，我们观察到，从训练到合理水平的模型中提取的注意力图会编码丰富的上下文信息。这些宝贵的上下文信息可以作为进一步表示学习的一种“免费”监督形式，通过在网络内部进行自上而下和逐层的注意力蒸馏来实现。SAD 可以轻松集成到任何前馈卷积神经网络（CNN）中，并不会增加推理时间。我们在三个流行的车道检测基准数据集（TuSimple、CULane 和 BDD100K）上使用轻量级模型如 ENet、ResNet-18 和 ResNet-34 验证了 SAD 的有效性。最轻量级的模型 ENet-SAD 在性能上与现有算法相当甚至超越现有算法。值得注意的是，ENet-SAD 的参数数量比最先进的 SCNN 少 20 倍，运行速度也快 10 倍，同时在所有基准测试中仍表现出令人信服的性能。我们的代码已发布在 https://github.com/cardwing/Codes-for-Lane-Detection。