摘要

近年来，条件操作在深度学习研究中受到广泛关注，旨在提升模型的预测准确性。一项重要进展是条件参数卷积（Conditional Parametric Convolutions, CondConv），该方法通过利用深度模型权重所提供的额外容量来增强模型性能，同时对计算复杂度的影响较小。CondConv采用依赖输入的融合参数，能够自适应地组合多个卷积核列以提升性能。在运行时，各卷积核列被在线融合为单一卷积核，因此在相同模型容量下，其时间复杂度远低于传统多列卷积层的实现方式。尽管CondConv在提升深度模型性能方面表现出色，但目前仅应用于单一任务场景。鉴于其具备在增加模型参数的同时保持计算高效性的优良特性，本文将其拓展至增量式多任务学习场景。为此，我们提出一种基于CondConv结构的序列多任务（或持续学习）方法，称为CondConv-Continual。实验结果表明，所提方法在实现无遗忘的持续学习方面具有显著效果。相较于现有方法，CondConv能够以一种结构规整、易于实现的方式扩展神经网络以获得额外容量，并为不同任务模型之间提供交叉参照机制，从而实现性能均衡与可比性。