端到端网络在多任务处理中变得越来越重要。一个显著的例子是自动驾驶中驾驶感知系统的重要性日益增加。本文系统地研究了用于多任务处理的端到端感知网络，并提出了几项关键优化以提高精度。首先，本文提出了一种基于加权双向特征网络的有效分割头和框/类预测网络。其次，本文为加权双向特征网络的每一层提出了自动定制的锚点（anchor）。第三，本文提出了一种高效训练损失函数和训练策略，以平衡和优化网络。基于这些优化措施，我们开发了一个端到端感知网络，能够同时执行交通对象检测、可行驶区域分割和车道检测等多任务，该网络被称为HybridNets，其精度优于现有技术。特别是，HybridNets在Berkeley DeepDrive数据集上达到了77.3的平均精度（mean Average Precision），在车道检测方面实现了31.6的平均交并比（mean Intersection Over Union），参数量为1283万个，浮点运算次数为156亿次。此外，它能够在实时环境中执行视觉感知任务，因此是一个实用且准确的多任务解决方案。代码可在https://github.com/datvuthanh/HybridNets获取。