3 个月前

基于3D LiDAR扫描序列的4D全景分割中的对比实例关联

基于3D LiDAR扫描序列的4D全景分割中的对比实例关联

摘要

场景理解对于动态环境中自主导航至关重要。在该领域,感知任务如分割与跟踪通常被分别处理。本文提出一种基于激光雷达(LiDAR)扫描的4D全景分割方法,旨在为时间序列中每一帧扫描的3D点分配语义类别,并为每个物体分配在时间上一致的实例ID。我们提出了一种新颖的方法,其基础是一个任意的单帧全景分割网络,并通过跨时间关联实例将其扩展至时序维度。为此,我们设计了一种对比聚合网络(contrastive aggregation network),利用全景分割网络输出的点级特征,构建一个嵌入空间,在该空间中,同一实例在不同时间步的编码彼此接近,而与其他实例的编码则相距较远。该方法的训练机制受到自监督度量学习中对比学习思想的启发。我们的关联模块融合了外观与运动特征,实现跨帧实例的匹配,从而支持时序感知。我们在SemanticKITTI基准数据集上对所提方法进行了评估,结果表明,即使不依赖位姿信息,该方法仍能达到当前最优性能。

基准测试

基准方法指标
4d-panoptic-segmentation-on-semantickittiCIA
LSTQ: 63.1

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
基于3D LiDAR扫描序列的4D全景分割中的对比实例关联 | 论文 | HyperAI超神经