3 个月前

多任务学习与元学习的桥梁:迈向高效训练与有效适应

多任务学习与元学习的桥梁:迈向高效训练与有效适应

摘要

多任务学习(Multi-task Learning, MTL)旨在通过联合学习多个相关任务来提升模型的泛化能力。相比之下,现代元学习(meta-learning)在测试阶段能够应对未见过的、标注样本有限的新任务,其目标是实现对这些任务的快速适应。尽管在问题建模上,MTL与元学习存在细微差异,但两种学习范式共享一个核心思想:即已有训练任务之间的共享结构有助于提升模型的泛化能力与适应能力。本文进一步深入探讨了这两种学习范式之间的紧密联系,结合理论分析与实证研究,迈出关键一步。理论上,我们首先证明了多任务学习在优化形式上与一类基于梯度的元学习(Gradient-Based Meta-Learning, GBML)算法具有相同的数学表达。随后,我们进一步证明:对于参数量充足且深度足够的过参数化神经网络,MTL与GBML所学习到的预测函数在行为上高度接近。特别地,这一结果意味着在面对相同未见过的任务时,两类模型的预测结果具有高度一致性。在实证方面,我们通过一系列少样本图像分类基准测试验证了上述理论发现。结果表明,只要实现得当,MTL在性能上可与当前最先进的GBML算法相媲美。由于现有的GBML算法通常依赖于计算成本高昂的二阶双层优化过程,而本文提出的MTL方法仅需一阶优化,因此在大规模数据集(如mini-ImageNet)上,其训练效率高出一个数量级。我们相信,本研究有助于弥合多任务学习与元学习之间的理论与实践鸿沟,并为GBML提供一种计算高效且支持快速任务适应的替代方案。

代码仓库

AI-secure/multi-task-learning
官方
pytorch
GitHub 中提及

基准测试

基准方法指标
few-shot-image-classification-on-cifar-fs-5Multi-Task Learning
Accuracy: 69.5
few-shot-image-classification-on-cifar-fs-5-1Multi-Task Learning
Accuracy: 84.1
few-shot-image-classification-on-fc100-5-wayMulti-Task Learning
Accuracy: 42.4
few-shot-image-classification-on-fc100-5-way-1Multi-Task Learning
Accuracy: 57.7
few-shot-image-classification-on-mini-2Multi-Task Learning
Accuracy: 59.84
few-shot-image-classification-on-mini-3Multi-Task Learning
Accuracy: 77.72
few-shot-image-classification-on-tieredMulti-Task Learning
Accuracy: 67.11
few-shot-image-classification-on-tiered-1Multi-Task Learning
Accuracy: 83.69

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多任务学习与元学习的桥梁:迈向高效训练与有效适应 | 论文 | HyperAI超神经