HyperAIHyperAI

Command Palette

Search for a command to run...

多任务学习作为一项讨价还价博弈

Aviv Navon Aviv Shamsian Idan Achituve Haggai Maron Kenji Kawaguchi Gal Chechik Ethan Fetaya

摘要

在多任务学习(Multi-task Learning, MTL)中,通过联合训练一个模型,使其能够同时对多个任务进行预测。联合训练能够降低计算成本并提升数据利用效率;然而,由于不同任务之间的梯度可能存在冲突,联合模型的性能通常低于其对应的单任务模型。为缓解这一问题,一种常用方法是采用特定启发式策略,将各任务的梯度合并为一个联合更新方向。本文提出将梯度组合过程视为一场讨价还价博弈(bargaining game),其中各任务通过协商达成关于参数更新方向的一致意见。在一定假设条件下,该讨价还价问题具有唯一解,即纳什讨价还价解(Nash Bargaining Solution)。我们提出将该解作为多任务学习的一种原则性方法。基于此,本文设计了一种新的多任务优化算法——Nash-MTL,并推导了其收敛性的理论保证。实验结果表明,Nash-MTL在多个不同领域的多任务学习基准测试中均取得了当前最优(state-of-the-art)的性能表现。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
多任务学习作为一项讨价还价博弈 | 论文 | HyperAI超神经