
摘要
当前最先进的行人检测器在非遮挡行人检测任务上表现优异,但在面对严重遮挡时仍面临挑战。尽管此前已有诸多研究尝试缓解行人遮挡问题,但大多数方法集中于静态图像,未能充分利用视频序列中的时序信息。本文提出一种基于视频中行人局部时序上下文的管状特征聚合网络(Tube Feature Aggregation Network, TFAN),旨在提升行人检测器在严重遮挡场景下的性能。具体而言,针对当前帧中被遮挡的行人,我们沿时间轴迭代搜索其在前后帧中的对应实例,构建一个时空管状结构(tube)。随后,通过自适应加权策略对管状区域内提取的特征进行聚合,以增强被遮挡行人的特征表示能力。此外,本文还设计了时序判别嵌入模块(Temporally Discriminative Embedding Module, TDEM)与基于部件的关系模块(Part-based Relation Module, PRM),分别用于缓解管状结构的漂移问题,并进一步提升模型在复杂遮挡条件下的鲁棒性。在Caltech、NightOwls和KAIST三个公开数据集上进行了大量实验,结果表明,所提方法在严重遮挡行人检测任务中具有显著有效性。同时,本方法在Caltech与NightOwls数据集上均取得了当前最优(state-of-the-art)的检测性能。
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| pedestrian-detection-on-caltech | TFAN | Reasonable Miss Rate: 6.5 |