
摘要
我们提出了N-ImageNet,这是一个面向事件相机的大型数据集,旨在支持鲁棒且细粒度的物体识别任务。该数据集通过可编程硬件采集,其中事件相机在显示ImageNet图像的显示器周围持续运动,从而生成大量事件流数据。由于其包含大量类别与样本,N-ImageNet为基于事件的物体识别任务提供了一个具有挑战性的基准。实验结果表明,在N-ImageNet上进行预训练能够显著提升基于事件的分类器性能,并有助于其在少量标注数据下实现有效学习。此外,我们构建了N-ImageNet的多个变体,用于评估事件分类器在不同相机运动轨迹及极端光照条件下的鲁棒性,并提出一种新型事件表示方法,以缓解性能下降问题。据我们所知,本工作是首个对不同环境条件对基于事件的物体识别算法影响进行定量分析的研究。N-ImageNet及其变体有望为推动基于事件的物体识别算法在真实场景中的实际应用提供重要指导。
代码仓库
82magnolia/n_imagenet
官方
pytorch
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| classification-on-n-imagenet | DiST | Accuracy (%): 48.43 |
| classification-on-n-imagenet | Time Surface | Accuracy (%): 44.32 |
| classification-on-n-imagenet | Binary Event Image | Accuracy (%): 46.36 |
| classification-on-n-imagenet | Timestamp Image | Accuracy (%): 45.86 |
| classification-on-n-imagenet | Event Image | Accuracy (%): 45.77 |
| classification-on-n-imagenet | HATS | Accuracy (%): 47.14 |
| classification-on-n-imagenet | Sorted Time Surface | Accuracy (%): 47.90 |
| classification-on-n-imagenet | Event Spike Tensor | Accuracy (%): 48.93 |
| classification-on-n-imagenet | Event Histogram | Accuracy (%): 47.73 |
| classification-on-n-imagenet-mini | Binary Event Image | Accuracy (%): 53.52 |
| classification-on-n-imagenet-mini | Timestamp Image | Accuracy (%): 60.46 |
| classification-on-n-imagenet-mini | DiST | Accuracy (%): 59.74 |
| classification-on-n-imagenet-mini | Event Imge | Accuracy (%): 61.42 |
| classification-on-n-imagenet-mini | Event Histogram | Accuracy (%): 61.02 |
| classification-on-n-imagenet-mini | Sorted Time Surface | Accuracy (%): 58.38 |