摘要

通过利用输出空间中的核技巧，核诱导损失为各种输出模态的结构化输出预测任务提供了一种原则性的定义方法。特别是在代理非参数回归的背景下，核技巧通常也在输入空间中被利用。然而，当输入为图像或文本时，深度神经网络等更具表现力的模型似乎比非参数方法更为合适。在本研究中，我们探讨了如何训练神经网络以解决结构化输出预测任务，同时仍能从核诱导损失的多样性和相关性中获益。为此，我们设计了一类新的深度神经架构，其最后一层在一个数据依赖的有限维子空间中进行预测，该子空间是从由核诱导损失产生的无限维输出特征空间中导出的。这个子空间被选为经验核协方差算子的一个随机近似版本的特征函数（eigenfunctions）张成的空间。有趣的是，这种方法使得梯度下降算法（以及任何神经架构）可以用于结构化预测。在合成任务及真实世界的监督图预测问题上的实验表明了我们方法的有效性。