摘要

随着机器学习的重要性日益凸显，对并行执行多项推理任务的需求也不断增长。为每个任务单独运行一个专用模型在计算上成本高昂，因此多任务学习（Multi-Task Learning, MTL）受到了广泛关注。MTL的目标是训练一个单一模型，以高效地解决多个任务。当前优化MTL模型的常见方法是为每个任务计算一个梯度，然后将其聚合以获得综合的更新方向。然而，这类方法往往忽略了梯度维度中一个关键因素——敏感性。本文提出一种基于贝叶斯推断的新型梯度聚合方法。我们为每个任务特有的参数赋予概率分布，从而在任务梯度上诱导出相应的概率分布。这一额外信息使我们能够量化每个梯度维度中的不确定性，进而在梯度聚合过程中充分考虑该不确定性。我们在多种数据集上通过实验验证了该方法的有效性，结果表明其在多个任务上均取得了当前最优的性能表现。