Luca FrancoPaolo MandicaKonstantinos KallidromitisDevin GuilloryYu-Teng LiTrevor DarrellFabio Galasso

摘要
我们提出了一种基于双曲神经网络的像素级主动学习方法,用于语义分割任务。通过对数据统计特性的分析,我们首次将双曲半径解释为数据稀缺性的指示器。在HALO(Hyperbolic Active Learning Optimization)框架中,我们首次引入认知不确定性(epistemic uncertainty)作为数据获取策略,其核心思想是选择那些最不被了解的数据点。结合广泛采用的预测熵,双曲半径能够有效近似认知不确定性。我们在两个成熟的合成到真实域迁移基准上进行了广泛的实验验证,分别为GTAV → Cityscapes 和 SYNTHIA → Cityscapes。此外,我们还将HALO应用于Cityscapes → ACDC场景,以评估其在恶劣天气条件下的域自适应性能,并对比了卷积型与基于注意力机制的多种骨干网络。实验结果表明,HALO在域偏移条件下的语义分割主动学习任务中达到了新的最先进水平,且是首个在仅使用极少量标注数据(仅1%)的情况下,性能超越监督式域自适应方法的主动学习框架。
代码仓库
paolomandica/HALO
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| domain-adaptation-on-cityscapes-to-acdc | HALO | mIoU: 71.9 |
| domain-adaptation-on-gta5-to-cityscapes | HALO | mIoU: 77.8 |
| domain-adaptation-on-synthia-to-cityscapes | HALO | Extra Manual Annotation: Yes mIoU: 78.1 |
| semantic-segmentation-on-cityscapes-val | HALO | mIoU: 77.8 |
| source-free-domain-adaptation-on-gta5-to | HALO | mIoU: 73.3 |