摘要

我们展示了如何利用神经网络模型实现分段常数函数，例如决策树。本文提出的架构称为局部常数网络（locally constant networks），其基于ReLU网络——这类网络本身是分段线性的，因此其关于输入的梯度在局部区域内保持恒定。我们形式化地建立了局部常数网络与决策树两类模型之间的等价性。此外，我们强调了局部常数网络的若干优势特性，包括能够通过分支与叶节点之间的参数共享来隐式实现决策树结构。具体而言，仅需 $M$ 个神经元即可隐式建模具有 $2^M$ 个叶节点的斜向决策树（oblique decision tree）。该神经网络表示形式还使得我们能够借用为深度网络开发的多种工具（例如DropConnect，Wan等，2013）来隐式训练决策树。实验表明，在分子性质分类与回归任务中，我们的方法在训练斜向决策树方面显著优于现有其他技术。