3 个月前

持续学习混合序列中的相似与不相似任务

持续学习混合序列中的相似与不相似任务

摘要

现有针对连续学习任务序列的研究主要聚焦于应对灾难性遗忘问题,其假设是各任务之间差异较大,共享知识极少。也有部分研究探讨了在任务具有相似性且存在共享知识的情况下,如何将先前学习到的知识迁移至新任务。据我们所知,目前尚无任何方法能够同时处理相似与不相似任务的混合序列,既有效缓解遗忘问题,又能实现知识的正向与反向迁移。本文提出了一种新方法,能够在同一网络中同时学习这两类任务。对于差异较大的任务,算法侧重于缓解遗忘;而对于相似任务,算法则通过有选择性地将部分先前相似任务中学习到的知识迁移至当前任务,以提升学习效果。此外,该算法能够自动判断新任务是否与任一先前任务具有相似性。通过在混合任务序列上的实验评估,验证了所提模型的有效性。

代码仓库

ZixuanKe/CAT
官方
pytorch

基准测试

基准方法指标
continual-learning-on-20newsgroup-10-tasksCAT
F1 - macro: 0.9516
continual-learning-on-asc-19-tasksCAT
F1 - macro: 0.6864
continual-learning-on-dsc-10-tasksCAT
F1 - macro: 0.8651
continual-learning-on-f-celeba-10-tasksCAT (CNN backbone)
Acc: 0.7564
continual-learning-on-f-celeba-10-tasksCAT (MLP backbone)
Acc: 0.6909

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
持续学习混合序列中的相似与不相似任务 | 论文 | HyperAI超神经