3 个月前

面向多样化条件下原始物体检测

面向多样化条件下原始物体检测

摘要

现有的目标检测方法通常以sRGB图像作为输入,而sRGB图像最初是通过为可视化设计的图像信号处理(ISP)流程从RAW数据压缩而来。然而,这种压缩过程可能丢失对检测至关重要的信息,尤其是在复杂光照与天气条件下。为此,我们提出了AODRaw数据集,该数据集包含7,785张高分辨率真实RAW图像,涵盖135,601个标注实例,覆盖62个类别,并在9种不同的光照与天气条件下采集了丰富的室内外场景。基于支持RAW与sRGB目标检测的AODRaw数据集,我们构建了一个全面的基准测试平台,用于评估当前检测方法的性能。实验发现,基于sRGB的预训练会因sRGB与RAW之间的域差异而限制RAW目标检测的潜力,因此我们提出直接在RAW域上进行预训练。然而,由于相机噪声的存在,RAW预训练相较于sRGB预训练更难学习到丰富的特征表示。为此,我们引入了一种知识蒸馏策略,利用在sRGB域上预训练的现成模型来辅助RAW域的预训练。结果表明,在无需额外预处理模块的前提下,我们的方法在多种复杂和恶劣条件下均实现了显著的性能提升。代码与数据集已开源,地址为:https://github.com/lzyhha/AODRaw。

代码仓库

lzyhha/aodraw
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
object-detection-on-aodrawCascade RCNN (ConvNext-T, RAW pre-training)
box AP: 34.8

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
面向多样化条件下原始物体检测 | 论文 | HyperAI超神经