3 个月前

真实世界点云中的可扩展场景流

真实世界点云中的可扩展场景流

摘要

自动驾驶车辆在高度动态的环境中运行,因此必须准确评估场景中哪些部分正在移动以及它们的运动方向。一种流行的三维运动估计方法称为“场景流”(scene flow),其通常利用连续LiDAR扫描所获取的三维点云数据。然而,这类方法长期以来受限于真实世界中已标注LiDAR数据规模较小的问题。在本研究中,我们提出一个全新的大规模场景流估计数据集,该数据集基于对应跟踪的三维物体生成,其标注帧数约为此前真实世界数据集的1000倍。我们展示了以往研究在性能上限上受到真实LiDAR数据量的严重制约,表明要实现当前最先进的预测性能,必须依赖更大规模的数据集。此外,我们揭示了以往在点云处理中广泛采用的启发式策略(如点云下采样)会显著降低模型性能,从而推动了对新型模型架构的需求——这类模型能够在完整点云上高效运行。为应对这一挑战,我们提出了FastFlow3D架构,该架构可在完整点云上实现实时推理。同时,我们设计了具有人类可解释性的评估指标,通过考虑自身运动(ego-motion)并按物体类型进行性能分解,更准确地反映真实世界中的场景动态特性。我们期望该数据集能够为真实世界场景流系统的开发提供新的研究机遇。

代码仓库

kth-rpl/deflow
pytorch
GitHub 中提及
leolyj/dca-srsfe
pytorch
GitHub 中提及
jabb0/fastflow3d
pytorch
GitHub 中提及
tudelft-iv/voteflow
pytorch
GitHub 中提及

基准测试

基准方法指标
scene-flow-estimation-on-argoverse-2FastFlow3D
EPE 3-Way: 0.061960
EPE Background Static: 0.004939
EPE Foreground Dynamic: 0.156392
EPE Foreground Static: 0.024549

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供