3 个月前

LaRS:一个多样化的全景海事障碍物检测数据集与基准

LaRS:一个多样化的全景海事障碍物检测数据集与基准

摘要

海洋障碍物检测技术的发展受到缺乏多样化数据集的制约,现有数据集难以充分反映复杂多变的海洋环境特征。为此,我们提出了首个面向海洋场景的全景障碍物检测基准数据集LaRS(Lakes, Rivers, and Seas),涵盖湖泊、河流与海洋等多种场景。本研究的主要贡献在于构建了目前同类数据集中覆盖范围最广的全新数据集,其在拍摄地点多样性、场景类型、障碍物类别以及采集条件方面均达到领先水平。LaRS包含超过4000帧具有像素级标注的关键帧,每帧前后还附带九帧时序帧,以支持时间纹理信息的利用,总计超过4万帧。每帧关键帧均标注了8类“物体”(thing)类别、3类“场景”(stuff)类别,以及19项全局场景属性。我们对27种语义分割与全景分割方法进行了实验评估,并总结了若干性能分析结果及未来研究方向。为实现客观、公正的评估,我们开发并部署了在线评估服务器。LaRS数据集、评估工具包及基准测试平台已公开发布,访问地址为:https://lojzezust.github.io/lars-dataset

代码仓库

基准测试

基准方法指标
panoptic-segmentation-on-larsPanoptic FPN (ResNet-101)
PQ: 38.7
panoptic-segmentation-on-larsMask2Former (Swin-T)
PQ: 39.2
panoptic-segmentation-on-larsPanoptic Deeplab (ResNet-50)
PQ: 34.7
panoptic-segmentation-on-larsMask2Former (ResNet-50)
PQ: 37.6
panoptic-segmentation-on-larsMask2Former (ResNet-101)
PQ: 37.2
panoptic-segmentation-on-larsMask2Former (Swin-B)
PQ: 41.7
panoptic-segmentation-on-larsPanoptic FPN (ResNet-50)
PQ: 40.1
panoptic-segmentation-on-larsMaX-DeepLab
PQ: 31.9
semantic-segmentation-on-larsBiSeNetv1 (ResNet-50)
F1: 42.8
Q: 39.4
mIoU: 92.2
μ: 73.3
semantic-segmentation-on-larsSTDC1
F1: 61.8
Q: 57.8
mIoU: 93.6
μ: 75.6
semantic-segmentation-on-larsSTDC2
F1: 64.3
Q: 60.8
mIoU: 94.5
μ: 76.5
semantic-segmentation-on-larsBiSeNetv2
F1: 54.7
Q: 51.2
mIoU: 93.5
μ: 73.9
semantic-segmentation-on-larsIntCatchAI
F1: 44.9
Q: 20.5
mIoU: 45.6
μ: 62.4
semantic-segmentation-on-larsPointRend
F1: 65.4
Q: 62.1
mIoU: 94.9
μ: 77.5
semantic-segmentation-on-larsDeepLabv3 (ResNet-101)
F1: 66.1
Q: 62.9
mIoU: 95.2
μ: 77.5
semantic-segmentation-on-larsSegmenter (ViT-B)
F1: 55.2
Q: 52.6
mIoU: 95.1
μ: 72.2
semantic-segmentation-on-larsWODIS (ResNet-101)
F1: 47.5
Q: 40.7
mIoU: 85.7
μ: 63.0
semantic-segmentation-on-larsSegFormer (MiT-B2)
F1: 70.0
Q: 67.8
mIoU: 96.8
μ: 78.6
semantic-segmentation-on-larsKNet (Swin-T)
F1: 73.4
Q: 71.3
mIoU: 97.2
μ: 78.8
semantic-segmentation-on-larsUNet
F1: 15.4
Q: 13.9
mIoU: 90.1
μ: 75.7
semantic-segmentation-on-larsDeepLabv3+ (ResNet-101)
F1: 64.0
Q: 61.0
mIoU: 95.4
μ: 77.8
semantic-segmentation-on-larsFCN (ResNet-50)
F1: 57.9
Q: 53.6
mIoU: 92.6
μ: 76.8
semantic-segmentation-on-larsWaSR (ResNet-101)
F1: 61.6
Q: 59.5
mIoU: 96.6
μ: 71.0
semantic-segmentation-on-larsFCN (ResNet-101)
F1: 63.4
Q: 60.2
mIoU: 95.0
μ: 77.4
video-semantic-segmentation-on-larsTMANet (ResNet-50)
F1: 61.1
Q: 57.5
mIoU: 94.1
μ: 77.1
video-semantic-segmentation-on-larsCSANet (ResNet-101)
F1: 52.1
Q: 49.1
mIoU: 94.2
μ: 63.7
video-semantic-segmentation-on-larsWaSR-T (ResNet-101)
F1: 62.1
Q: 60.1
mIoU: 96.7
μ: 71.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
LaRS:一个多样化的全景海事障碍物检测数据集与基准 | 论文 | HyperAI超神经