摘要

理解多个相关任务之间的结构关系，有助于通过多任务学习提升一个或所有任务的泛化能力。然而，传统方法通常需要联合训练每一对任务组合，以捕捉任务间的关联，这带来了极高的计算开销。在本研究中，我们提出一种自动加权框架——Auto-Lambda，通过该框架学习任务之间的关系。与以往假设任务关系固定的范式不同，Auto-Lambda是一种基于梯度的元学习框架，能够通过任务特异性权重动态探索连续的任务关系，并通过构建元损失函数，实现对任意任务组合的优化；在此过程中，验证集损失会自动调节各任务的权重，从而在训练过程中实现自适应平衡。我们将该框架应用于计算机视觉与机器人领域的多任务学习及辅助学习问题，结果表明，Auto-Lambda在性能上达到当前最优水平，甚至超越了为特定问题与数据域专门设计的优化策略。此外，我们还发现Auto-Lambda能够揭示出有趣的训练行为，为多任务学习提供了新的认知视角。代码已开源，地址为：https://github.com/lorenmt/auto-lambda。