3 个月前

N-ImageNet:面向事件相机的鲁棒细粒度物体识别

N-ImageNet:面向事件相机的鲁棒细粒度物体识别

摘要

我们提出了N-ImageNet,这是一个面向事件相机的大型数据集,旨在支持鲁棒且细粒度的物体识别任务。该数据集通过可编程硬件采集,其中事件相机在显示ImageNet图像的显示器周围持续运动,从而生成大量事件流数据。由于其包含大量类别与样本,N-ImageNet为基于事件的物体识别任务提供了一个具有挑战性的基准。实验结果表明,在N-ImageNet上进行预训练能够显著提升基于事件的分类器性能,并有助于其在少量标注数据下实现有效学习。此外,我们构建了N-ImageNet的多个变体,用于评估事件分类器在不同相机运动轨迹及极端光照条件下的鲁棒性,并提出一种新型事件表示方法,以缓解性能下降问题。据我们所知,本工作是首个对不同环境条件对基于事件的物体识别算法影响进行定量分析的研究。N-ImageNet及其变体有望为推动基于事件的物体识别算法在真实场景中的实际应用提供重要指导。

代码仓库

基准测试

基准方法指标
classification-on-n-imagenetDiST
Accuracy (%): 48.43
classification-on-n-imagenetTime Surface
Accuracy (%): 44.32
classification-on-n-imagenetBinary Event Image
Accuracy (%): 46.36
classification-on-n-imagenetTimestamp Image
Accuracy (%): 45.86
classification-on-n-imagenetEvent Image
Accuracy (%): 45.77
classification-on-n-imagenetHATS
Accuracy (%): 47.14
classification-on-n-imagenetSorted Time Surface
Accuracy (%): 47.90
classification-on-n-imagenetEvent Spike Tensor
Accuracy (%): 48.93
classification-on-n-imagenetEvent Histogram
Accuracy (%): 47.73
classification-on-n-imagenet-miniBinary Event Image
Accuracy (%): 53.52
classification-on-n-imagenet-miniTimestamp Image
Accuracy (%): 60.46
classification-on-n-imagenet-miniDiST
Accuracy (%): 59.74
classification-on-n-imagenet-miniEvent Imge
Accuracy (%): 61.42
classification-on-n-imagenet-miniEvent Histogram
Accuracy (%): 61.02
classification-on-n-imagenet-miniSorted Time Surface
Accuracy (%): 58.38

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
N-ImageNet:面向事件相机的鲁棒细粒度物体识别 | 论文 | HyperAI超神经