摘要

机器学习的基础假设是，所考虑的数据可被划分为不同的类别；尽管这一假设在直觉上合理，但将其数学化表述为可分离性约束却极为困难。我们认为，这一难题的根源在于现有统计方法与实际常见数据之间的不匹配：物体的表示通常具有高维度特征，而现有的统计技术往往将高维情形视为一种退化情况。为解决这一问题，我们提出了一种专为高维机器学习设计的统计框架。该框架基于一个核心观察：物体之间的关系天然呈现出层次结构。由此，我们将物体建模为高维、分层生成过程的实例。通过本文所提出的基于距离的统计技术，我们证明，在此类生成过程中，层次结构中每一层级的实例几乎总是被一个独特的“壳层”所包围，而该壳层几乎不包含其他层级的实例。由此发展出的“壳层理论”（Shell Theory），是一种形式化的统计机器学习框架，其中可分离性约束（即“独特壳层”）可从所假设的生成过程出发，严格推导得出。