摘要

在城市场景中准确检测行人对于自动驾驶、视频监控等实际应用具有重要意义。然而，外观类似人类的物体常导致误检，而小尺寸或严重遮挡的行人由于其异常外观，极易被漏检。针对这些挑战，仅依赖目标区域的特征已显不足，如何充分挖掘更具语义性与明确性的上下文信息成为关键问题。与此同时，以往的上下文感知行人检测方法要么仅通过视觉线索学习隐式上下文，要么需要大量人工标注才能获取显式且语义丰富的上下文信息。为此，本文提出一种新颖的视觉-语言语义自监督行人检测方法（Vision-Language semantic self-supervision for context-aware Pedestrian Detection, VLPD），在无需任何额外标注的前提下，显式建模语义上下文。首先，我们提出一种自监督的视觉-语言语义（Vision-Language Semantic, VLS）分割方法，该方法通过视觉-语言模型自动生成语义类别显式标签，同时联合学习全监督行人检测与上下文分割任务。其次，为进一步提升行人与其它类别的区分能力，我们设计了一种自监督的原型语义对比（Prototypical Semantic Contrastive, PSC）学习方法，利用VLS方法获得的更显式、更具语义性的上下文信息进行特征优化。在多个主流基准数据集上的大量实验表明，所提出的VLPD方法在各项指标上均显著优于现有最先进方法，尤其在小尺度行人检测与严重遮挡等复杂场景下表现突出。代码已开源，地址为：https://github.com/lmy98129/VLPD。