4 个月前

Achelous:一种基于单目相机和4D毫米波雷达融合的快速统一水面全景感知框架

Achelous:一种基于单目相机和4D毫米波雷达融合的快速统一水面全景感知框架

摘要

当前针对不同任务的感知模型通常以模块化形式存在于无人水面船(USVs)上,这些模型在边缘设备上并行推理速度极慢,导致感知结果与无人水面船位置之间的不同步,进而引发自主导航中的错误决策。与无人地面车(UGVs)相比,无人水面船的鲁棒感知发展相对缓慢。此外,大多数现有的多任务感知模型参数量庞大、推理速度慢且不具备可扩展性。为此,我们提出了一种低成本且快速统一的全景感知框架——Achelous,该框架基于单目相机和4D毫米波雷达的融合,用于水面感知。Achelous可以同时执行五项任务:视觉目标检测与分割、可行驶区域分割、水线分割以及雷达点云分割。此外,Achelous系列模型的参数量少于约500万,在NVIDIA Jetson AGX Xavier上实现了大约18帧每秒(FPS)的推理速度,比HybridNets快11 FPS,并在我们收集的数据集上超过了YOLOX-Tiny和Segformer-B0约5个mAP$_{\text{50-95}}$和0.7个mIoU,特别是在恶劣天气、黑暗环境和相机故障的情况下表现尤为突出。据我们所知,Achelous是首个结合了视觉级和点云级任务的全面全景感知框架,用于水面感知。为了促进智能交通社区的发展,我们在\url{https://github.com/GuanRunwei/Achelous}发布了我们的代码。

代码仓库

GuanRunwei/Achelous
官方
pytorch

基准测试

基准方法指标
2d-semantic-segmentation-on-waterscenesAchelous-FV-RDF-S2
mIoU: 79.6
object-detection-on-waterscenesAchelous-MV-GDF-S2
mAP@50-95: 56.0

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
Achelous:一种基于单目相机和4D毫米波雷达融合的快速统一水面全景感知框架 | 论文 | HyperAI超神经