摘要

我们提出了一种动态模型，其中权重根据输入样本 ( x ) 进行调整，并通过在 ( x ) 及其标签 ( y ) 上对基础模型进行微调来学习这些权重。这种从输入样本到网络权重的映射关系由一个去噪扩散模型（denoising diffusion model）近似实现。我们所使用的扩散模型专注于修改基础模型的一个单层，并且该层的输入、激活和输出都作为条件输入。由于扩散模型具有随机性，多次初始化可以生成不同的网络，形成一个集成模型（ensemble），从而进一步提高性能。我们的实验表明，该方法在图像分类、3D重建、表格数据、语音分离和自然语言处理等多个领域具有广泛的应用前景。我们的代码已发布在 https://github.com/ShaharLutatiPersonal/OCD