
摘要
传统的监督学习方法主要关注从输入特征到输出标签的映射关系。在训练完成后,仅依靠已学习的模型对测试特征进行独立预测,而忽略了训练数据本身及其内在关联,导致训练数据资源被浪费。为了充分挖掘海量训练数据及其潜在关联,我们提出一种新型学习范式——记忆关联差分学习(Memory-Associated Differential, MAD)学习。我们首先引入一个称为“记忆”(Memory)的附加组件,用于存储全部训练数据。随后,结合微分方程与若干采样方法,学习标签之间的差异性以及特征之间的关联关系。在推理阶段,我们通过几何上有意义的方式,基于记忆中存储的事实,结合所学习到的差异与关联,对未知标签进行预测。我们首先在单变量场景下构建该理论框架,并将其应用于图像识别任务;随后进一步拓展至双变量场景下的链接预测任务。在ogbl-ddi数据集上的实验结果表明,我们的方法显著优于当前先进的主流基线模型。
代码仓库
cf020031308/mad-learning
官方
pytorch
GitHub 中提及
cf020031308/mad-learning/blob/master/ogbl-ddi.py
pytorch
GitHub 中提及
基准测试
| 基准 | 方法 | 指标 |
|---|---|---|
| link-property-prediction-on-ogbl-ddi | MAD Learning | Ext. data: No Number of params: 1228897 Test Hits@20: 0.6781 ± 0.0294 Validation Hits@20: 0.7010 ± 0.0082 |