HyperAIHyperAI

Command Palette

Search for a command to run...

用于密集预测的视觉Transformer适配器

Zhe Chen Yuchen Duan Wenhai Wang Junjun He Tong Lu Jifeng Dai Yu Qiao

摘要

本研究提出了一种简单而高效的视觉Transformer(Vision Transformer, ViT)密集预测任务适配器——ViT-Adapter。与近年来引入视觉领域特定归纳偏置(inductive biases)的先进变体不同,原始ViT由于先验假设较弱,在密集预测任务上表现不佳。为解决这一问题,我们提出ViT-Adapter,使原始ViT能够达到与专为视觉任务设计的Transformer相当的性能水平。在本框架中,主干网络采用原始ViT,能够从大规模多模态数据中学习强大的表示能力。在迁移到下游任务时,我们引入一种无需预训练的适配器(pre-training-free adapter),将图像相关的归纳偏置注入模型,从而使其更适用于各类密集预测任务。我们在多个密集预测任务上验证了ViT-Adapter的有效性,包括目标检测、实例分割和语义分割。值得注意的是,在不使用额外检测数据的情况下,我们的ViT-Adapter-L在COCO test-dev基准上取得了60.9的box AP和53.0的mask AP,达到当前最优(state-of-the-art)水平。我们期望ViT-Adapter能成为视觉专用Transformer的一种有效替代方案,并推动后续相关研究的发展。代码与模型将开源发布于:https://github.com/czczup/ViT-Adapter


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供