4 个月前

RepVF:一种统一的多任务3D感知向量场表示方法

RepVF:一种统一的多任务3D感知向量场表示方法

摘要

在同一时空场景中同时处理多个自动驾驶3D感知任务是一个重大挑战,特别是使用传统多任务学习方法时,计算效率低下和任务之间的特征竞争问题尤为突出。本文通过提出一种新颖的统一表示方法——RepVF,解决了这些问题。RepVF 通过向量场来描述场景中不同目标的结构,实现了一个单头多任务学习模型,显著减少了计算冗余和特征竞争。基于 RepVF,我们引入了 RFTR 网络,该网络利用查询的层次结构来隐式建模任务之间和任务内部的关系,从而充分利用不同任务之间的内在联系。这种方法消除了对特定任务头部和参数的需求,从根本上减少了传统多任务学习范式中的固有冲突。我们通过结合 OpenLane 数据集和 Waymo Open 数据集的标签来验证我们的方法。本研究在提高自动驾驶多任务感知的效率和效果方面取得了重要进展,为同步并行处理多个3D感知任务提供了新的视角。代码将在以下地址提供:https://github.com/jbji/RepVF

代码仓库

jbji/repvf
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
3d-lane-detection-on-openlaneRFTR (ResNet-50)
Curve: -
Extreme Weather: -
F1 (all): 61.8
Intersection: -
Merge u0026 Split: -
Night: -
Up u0026 Down: -

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
RepVF:一种统一的多任务3D感知向量场表示方法 | 论文 | HyperAI超神经