HyperAIHyperAI

Command Palette

Search for a command to run...

构建视觉-语言模型时,什么因素至关重要?

Hugo Laurençon Léo Tronchon Matthieu Cord Victor Sanh

摘要

视觉-语言模型(VLMs)日益受到关注,这主要得益于大语言模型和视觉Transformer架构的持续进步。尽管该领域已有大量相关研究文献,但我们发现,当前VLM设计中的诸多关键决策往往缺乏充分依据。我们认为,这些未经验证的设计选择阻碍了该领域的进展,使得难以明确哪些决策真正有助于提升模型性能。为解决这一问题,我们围绕预训练模型、架构选择、数据集以及训练方法等关键方面开展了系统性实验。基于这些研究,我们总结出一系列重要发现,并在此基础上开发了Idefics2——一个参数量为80亿的高效基础型视觉-语言模型。Idefics2在多个多模态基准测试中均达到了同规模模型中的最先进水平,其性能通常可与参数量为其四倍的模型相媲美。我们已公开发布该模型(包括基础版、指令微调版和对话版)以及用于其训练的全部数据集。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供