3 个月前

你只需学习一种表示:面向多任务的统一网络

你只需学习一种表示:面向多任务的统一网络

摘要

人类通过视觉、听觉、触觉以及过往经验来“理解”世界。人类的经验可通过常规学习获得(我们称之为显性知识),也可在无意识中习得(我们称之为隐性知识)。这些通过常规学习或无意识途径获得的经验会被编码并储存在大脑中。借助这一庞大的经验数据库,人类能够高效处理未曾见过的数据。本文提出一种统一网络架构,旨在同时编码显性知识与隐性知识,如同人脑既能通过有意识学习,也能通过无意识学习获取知识。该统一网络能够生成一种统一的表征,以支持多种任务的并行处理。我们可在卷积神经网络中实现核空间对齐、预测优化以及多任务学习。实验结果表明,将隐性知识引入神经网络后,所有任务的性能均得到提升。我们进一步分析了该统一网络所学习到的隐性表征,结果表明其在捕捉不同任务的物理意义方面展现出卓越能力。本工作的源代码已开源,地址为:https://github.com/WongKinYiu/yolor。

代码仓库

totoadel/Minst
pytorch
GitHub 中提及
DataXujing/YOLOR-
pytorch
GitHub 中提及
SnailDev/github-hot-hub
pytorch
GitHub 中提及
alexeyab/yolor
pytorch
GitHub 中提及
WongKinYiu/yolor
官方
pytorch
GitHub 中提及
lonnyzhang423/github-hot-hub
pytorch
GitHub 中提及
rjlallana/YOLO
pytorch
GitHub 中提及

基准测试

基准方法指标
object-detection-on-cocoYOLOR-D6 (1280, single-scale, 30 fps)
AP50: 73.3
AP75: 60.6
box mAP: 55.4
object-detection-on-coco-minivalYOLOR-P6 (1280, single-scale, 72 fps)
AP50: 70.6
AP75: 57.4
APL: 65.2
APM: 57.3
APS: 37.4
object-detection-on-coco-minivalYOLOR-D6 (1280, single-scale, 31 fps)
AP50: 73.5
AP75: 60.6
APL: 68.7
APM: 60.1
APS: 40.4
real-time-object-detection-on-cocoYOLOR-E6
FPS (V100, b=1): 37
box AP: 54.8
real-time-object-detection-on-cocoYOLOR-P6
FPS (V100, b=1): 49
box AP: 52.6
real-time-object-detection-on-cocoYOLOR-W6
FPS (V100, b=1): 47
box AP: 54.1
real-time-object-detection-on-cocoYOLOR-P6D
FPS (V100, b=1): 49
box AP: 53
real-time-object-detection-on-cocoYOLOR-D6
FPS (V100, b=1): 30
box AP: 55.4

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
你只需学习一种表示:面向多任务的统一网络 | 论文 | HyperAI超神经