HyperAIHyperAI

Command Palette

Search for a command to run...

基于贝叶斯提示学习的图像-语言模型泛化

Mohammad Mahdi Derakhshani Enrique Sanchez Adrian Bulat Victor Guilherme Turrisi da Costa Cees G. M. Snoek Georgios Tzimiropoulos Brais Martinez

摘要

基础图像-语言模型因其通过提示学习(prompt learning)实现对下游任务的高效适应而受到广泛关注。提示学习将语言模型输入的一部分视为可训练参数,其余部分则保持冻结,并优化经验风险最小化(Empirical Risk Minimization, ERM)目标。然而,经验风险最小化已知在分布外(distributional shift)情况下表现不佳,导致模型在训练中未见过的提示上泛化能力下降。为此,本文利用贝叶斯方法的正则化能力,从贝叶斯视角重新审视提示学习,并将其建模为变分推断(variational inference)问题。所提出的方法对提示空间进行正则化,有效缓解了对已见提示的过拟合问题,显著提升了模型在未见提示上的泛化性能。本框架通过概率化建模输入提示空间,引入先验分布(a priori distribution),使方法能够兼容无条件或基于图像条件的各类提示学习范式。在15个基准测试上的实证结果表明,贝叶斯提示学习能够实现对提示空间的合理覆盖,有效避免学习虚假特征,并充分挖掘可迁移的不变特征。这一优势使得模型在跨数据集、跨领域场景下对未见提示仍具备更强的泛化能力。代码已开源,地址为:https://github.com/saic-fi/Bayesian-Prompt-Learning


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供