3 个月前

时间上下文增强的严重遮挡行人检测

时间上下文增强的严重遮挡行人检测

摘要

当前最先进的行人检测器在非遮挡行人检测任务上表现优异,但在面对严重遮挡时仍面临挑战。尽管此前已有诸多研究尝试缓解行人遮挡问题,但大多数方法集中于静态图像,未能充分利用视频序列中的时序信息。本文提出一种基于视频中行人局部时序上下文的管状特征聚合网络(Tube Feature Aggregation Network, TFAN),旨在提升行人检测器在严重遮挡场景下的性能。具体而言,针对当前帧中被遮挡的行人,我们沿时间轴迭代搜索其在前后帧中的对应实例,构建一个时空管状结构(tube)。随后,通过自适应加权策略对管状区域内提取的特征进行聚合,以增强被遮挡行人的特征表示能力。此外,本文还设计了时序判别嵌入模块(Temporally Discriminative Embedding Module, TDEM)与基于部件的关系模块(Part-based Relation Module, PRM),分别用于缓解管状结构的漂移问题,并进一步提升模型在复杂遮挡条件下的鲁棒性。在Caltech、NightOwls和KAIST三个公开数据集上进行了大量实验,结果表明,所提方法在严重遮挡行人检测任务中具有显著有效性。同时,本方法在Caltech与NightOwls数据集上均取得了当前最优(state-of-the-art)的检测性能。

基准测试

基准方法指标
pedestrian-detection-on-caltechTFAN
Reasonable Miss Rate: 6.5

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
时间上下文增强的严重遮挡行人检测 | 论文 | HyperAI超神经