3 个月前

TwinLiteNetPlus:面向自动驾驶的实时多任务分割模型

TwinLiteNetPlus:面向自动驾驶的实时多任务分割模型

摘要

语义分割在自动驾驶中至关重要,尤其在可行驶区域分割与车道分割任务中,对于保障行车安全与实现精准导航具有关键作用。为应对当前最先进(SOTA)模型带来的高计算成本问题,本文提出TwinLiteNetPlus模型,该模型在效率与精度之间实现了良好平衡。TwinLiteNetPlus融合了标准卷积与深度可分离空洞卷积,有效降低模型复杂度的同时保持了较高的分割精度。该模型提供四种不同配置,参数量从稳健的194万参数(TwinLiteNetPlus_{Large})到超轻量级的3.4万参数(TwinLiteNetPlus_{Nano})不等。值得注意的是,TwinLiteNetPlus_{Large}在可行驶区域分割任务中达到92.9%的mIoU(平均交并比),在车道分割任务中实现34.2%的IoU,性能显著优于现有SOTA模型,且计算所需浮点运算量(FLOPs)仅为后者的1/11。在多种嵌入式设备上的严格评估表明,TwinLiteNetPlus具备优异的延迟表现与功耗效率,展现出在真实自动驾驶场景中应用的巨大潜力。相关代码已开源,可访问 https://github.com/chequanghuy/TwinLiteNetPlus。

代码仓库

chequanghuy/TwinLiteNetPlus
官方
pytorch
GitHub 中提及
chequanghuy/TwinLiteNet
pytorch
GitHub 中提及

基准测试

基准方法指标
drivable-area-detection-on-bdd100k-valTwinLiteNetPlus-Nano
Params (M): 0.03
mIoU: 87.3
drivable-area-detection-on-bdd100k-valTwinLiteNetPlus-Large
Params (M): 1.94
mIoU: 92.9
drivable-area-detection-on-bdd100k-valTwinLiteNetPlus-Medium
Params (M): 0.48
mIoU: 92.0
drivable-area-detection-on-bdd100k-valTwinLiteNetPlus-Small
Params (M): 0.12
mIoU: 90.6
lane-detection-on-bdd100k-valTwinLiteNetPlus-Small
Accuracy (%): 75.8
IoU (%): 29.3
Params (M): 0.12
lane-detection-on-bdd100k-valTwinLiteNetPlus-Nano
Accuracy (%): 70.2
IoU (%): 23.3
Params (M): 0.03
lane-detection-on-bdd100k-valTwinLiteNetPlus-Large
Accuracy (%): 81.9
IoU (%): 34.2
Params (M): 1.94
lane-detection-on-bdd100k-valTwinLiteNetPlus-Medium
Accuracy (%): 79.1
IoU (%): 32.3
Params (M): 0.48

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
TwinLiteNetPlus:面向自动驾驶的实时多任务分割模型 | 论文 | HyperAI超神经