4 个月前

特征擦除与扩散网络用于遮挡人员再识别

特征擦除与扩散网络用于遮挡人员再识别

摘要

遮挡行人重识别(ReID)旨在跨不同摄像头视图匹配遮挡行人图像与整体行人图像。目标行人在通常情况下会受到非行人遮挡(NPO)和非目标行人(NTP)的干扰。以往的方法主要集中在提高模型对NPO的鲁棒性,而忽略了来自NTP的特征污染问题。在本文中,我们提出了一种新颖的特征擦除与扩散网络(FED),以同时处理NPO和NTP。具体而言,通过我们提出的遮挡擦除模块(OEM),结合NPO增强策略模拟整体行人图像上的非行人遮挡并生成精确的遮挡掩模,从而消除NPO特征。随后,我们通过一种新颖的特征扩散模块(FDM)利用可学习的交叉注意力机制,在特征空间中扩散行人的表示与其他记忆特征,合成NTP特性。在OEM提供的遮挡分数指导下,特征扩散过程主要在可见身体部位上进行,这保证了合成的NTP特性的质量。通过在我们提出的FED网络中联合优化OEM和FDM,可以显著提升模型对目标行人的感知能力,并减轻NPO和NTP的影响。此外,所提出的FDM仅作为训练阶段的辅助模块,在推理阶段将被丢弃,因此引入的推理计算开销很小。在遮挡和整体行人重识别基准数据集上的实验表明,FED优于现有方法,在Occluded-REID数据集上达到了86.3%的第一名准确率,至少超过其他方法4.7%。

代码仓库

基准测试

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
特征擦除与扩散网络用于遮挡人员再识别 | 论文 | HyperAI超神经