Tamás MatuszkaIván BartonÁdám ButykaiPéter HajasDávid KissDomonkos KovácsSándor Kunsági-MátéPéter LengyelGábor NémethLevente PetőDezső RibliDávid SzeghySzabolcs VajnaBálint Varga

摘要
自动驾驶是计算机视觉研究领域的一个热门研究方向。由于自动驾驶车辆具有高度的安全关键性,确保系统在复杂环境下的鲁棒性对于实际部署至关重要。尽管目前已有一些公开的多模态数据集可供使用,但这些数据集主要包含两种传感器模态(摄像头与激光雷达),在恶劣天气条件下表现不佳。此外,这些数据集普遍缺乏远距离目标的标注信息,这使得训练用于自动驾驶高速公路辅助功能的神经网络面临挑战。为此,我们提出了一种面向鲁棒自动驾驶的长距离感知多模态数据集。该数据集包含176个场景,配备同步校准的激光雷达、摄像头和雷达传感器,覆盖360度全景视野。采集数据涵盖高速公路、城市及郊区等多种道路环境,并在白天、夜间及雨天等不同条件下进行,所有数据均以3D边界框形式标注,并在帧间保持一致的标识符。此外,我们还训练了单模态与多模态的基线模型,用于3D目标检测任务。数据集已开源,可通过以下链接获取:\url{https://github.com/aimotive/aimotive_dataset}。
代码仓库
aimotive/aimotive_dataset
官方
pytorch
GitHub 中提及
aimotive/mm_training
pytorch
GitHub 中提及
aimotive/aimotive-dataset-loader
官方
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| 3d-object-detection-on-aimotive-dataset | Lidar-Radar | BEV AP@0.3 Highway: 0.741 BEV AP@0.3 Night: 0.766 BEV AP@0.3 Rain: 0.517 BEV AP@0.3 Urban: 0.638 |
| 3d-object-detection-on-aimotive-dataset | Lidar | BEV AP@0.3 Highway: 0.757 BEV AP@0.3 Night: 0.754 BEV AP@0.3 Rain: 0.568 BEV AP@0.3 Urban: 0.630 |
| 3d-object-detection-on-aimotive-dataset | Lidar-Radar-Camera | BEV AP@0.3 Highway: 0.762 BEV AP@0.3 Night: 0.730 BEV AP@0.3 Rain: 0.423 BEV AP@0.3 Urban: 0.644 |