假设检验是一种检验统计假设的方法，主要用于推论统计，其中「统计假设」是一种检验科学假说，主要通过观察随机变量的模型进行，在可估计未知参数的前提下，便可根据结果对未知参数值做出适当的推论。 统计上对参数的假设，是对一个或多 […]

集成学习是将多个模型组合成高精度模型的思想，主要用于机器学习领域，它不是一个单独的机器学习算法，而是通过构建和结合多个学习器以完成学习任务。 集成学习可被用于分类问题、回归问题、特征选取、异常点检测等，可以说所有的机器学 […]

纠错输出编码法 ECOC 可将多类问题转换为多个两类问题，且纠错输出码本身具有纠错能力，可提升监督学习算法的预测精度。 对输出类别编码可将多类问题两类化，即每个类别对应一个长度为 n 的二进制位串，共形成 m 个码字，这 […]

经验风险展示了模型对训练样本的预测能力，其通过对所有训练样本求一次损失函数，再累加求平均得出，其中损失函数是期望风险、经验风险和结构风险的基础。 损失函数是针对单个具体的样本而言的，表示的是模型预测值与真实值之间的差距。 […]

k-均值聚类是一种向量量化方法，早期被用于信号处理，目前主要作为一种聚类分析方法活跃于数据挖掘领域。 k-均值聚类的目的是将 n 个点划分至 k 个聚类中，使得每个点都属于最近的均值对应的聚类，并以此作为聚类标准，这类问 […]

间隔理论是支持向量机中的概念，其中间隔是指超平面划分两类样本之间的最小距离，而间隔理论可被用于解释 AdaBoost 算法在训练误差为 0 的情况下，继续训练可进一步提升模型的泛化性能。 令 x 和 y 代表样例的输入和 […]

感知机是一种二元线性分类模型，可以被视为一种最简单形式的前馈神经网络，是 Frank Rosenblatt 在 1957 年发明的一种模型。其输入为实例的特征向量，输出为实例的类别。

归一化是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位，以提高不同数据指标之间的可比性。

近端梯度法（PGD）是一种特殊的梯度下降方法，主要用于求解目标函数不可微的最优化问题。

后剪枝是指在决策树生成后进行的剪枝操作。

概率图模型是指用图结构来表达变量相关关系的概率模型。

回归是一种对数值型连续随机变量进行预测和建模的监督学习算法。

规则学习是从训练数据中学习出一组由原子命题组成的 IF-THEN 的规则, 属于非监督学习的一种, 常用被归属为分类的一种.

根结点是在树数据结构中第一个结点。通常的结点可能具有父结点和子结点，但由于根音符是第一个结点，因此它只有子结点。

粒子群优化算法（PSO），又称微粒群算法，是基于群体智能理论的优化算法, 群体中的粒子在每次迭代搜索的过程中, 以完成对问题的寻优过程。

规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。

核范数是矩阵奇异值的和，用来约束矩阵的低秩。

关联分析是在交易数据、关系数据或其他信息载体中，查找存在于项目或对象集合之间的频繁模式、关联、相关性或因果结构。 关联分析方法 Apriori 算法 Apriori 算法是挖掘产生布尔关联规则所需频繁项集的基本算法，它使 […]

个体学习器是一个相对概念，它是集成学习中集成之前的学习器。 根据个体学习器的生成方式，集成学习的方法可分为以下两类： 存在强依赖关系，必须串行生成的序列化方法，代表是 Boosting； 不存在强依赖关系，可同时生成的并 […]

归纳法是一种推理过程，由一系列具体的事实概括出一般原理，其中数学的归纳方法是指从多个事物概括出一般性概念、原则或结论的思维方法。 归纳可分为完全归纳法和不完全归纳法： 完全归纳法：包含该类对象的全体，从而对该类对象作出一 […]

归纳学习是机器学习的一种方法，其通常被用于符号学习，主要通过给定关于某个概念的一系列已知正例和反例，并从中归纳出一个概念描述。 归纳学习可以获得新的概念，创立新的规则，发现新的理论，其一般操作是泛化和特化，其中泛化指扩展 […]

累积误差逆传播算法（ABP 算法），是标准的**逆传播（BP）算法**的变体，如果推导出基于累积误差最小化的更新规则，就得到了累积误差逆传播算法。

合页损失函数的形状像一个合页，这也是其名称的由来，这种损失函数主要存在于支持向量机，其不仅要求分类正确，而且确信度足够高时损失才是 0，即合页损失函数对学习有更高的要求。 合页损失函数的公式为 L ( y ( w * x […]

混合计算是一种整合计算，其包含传统的硬计算和新兴的软计算，该计算方式可以获取各自所长以克服局限性。 硬计算的主要特征： 易于建立问题的规范数学模型； 建立的数学模型易于求解，且能达到较高的精确度； 具有较好的稳定性。 软 […]

假设检验是一种检验统计假设的方法，主要用于推论统计，其中「统计假设」是一种检验科学假说，主要通过观察随机变量的模型进行，在可估计未知参数的前提下，便可根据结果对未知参数值做出适当的推论。 统计上对参数的假设，是对一个或多 […]

集成学习是将多个模型组合成高精度模型的思想，主要用于机器学习领域，它不是一个单独的机器学习算法，而是通过构建和结合多个学习器以完成学习任务。 集成学习可被用于分类问题、回归问题、特征选取、异常点检测等，可以说所有的机器学 […]

纠错输出编码法 ECOC 可将多类问题转换为多个两类问题，且纠错输出码本身具有纠错能力，可提升监督学习算法的预测精度。 对输出类别编码可将多类问题两类化，即每个类别对应一个长度为 n 的二进制位串，共形成 m 个码字，这 […]

经验风险展示了模型对训练样本的预测能力，其通过对所有训练样本求一次损失函数，再累加求平均得出，其中损失函数是期望风险、经验风险和结构风险的基础。 损失函数是针对单个具体的样本而言的，表示的是模型预测值与真实值之间的差距。 […]

k-均值聚类是一种向量量化方法，早期被用于信号处理，目前主要作为一种聚类分析方法活跃于数据挖掘领域。 k-均值聚类的目的是将 n 个点划分至 k 个聚类中，使得每个点都属于最近的均值对应的聚类，并以此作为聚类标准，这类问 […]

间隔理论是支持向量机中的概念，其中间隔是指超平面划分两类样本之间的最小距离，而间隔理论可被用于解释 AdaBoost 算法在训练误差为 0 的情况下，继续训练可进一步提升模型的泛化性能。 令 x 和 y 代表样例的输入和 […]

感知机是一种二元线性分类模型，可以被视为一种最简单形式的前馈神经网络，是 Frank Rosenblatt 在 1957 年发明的一种模型。其输入为实例的特征向量，输出为实例的类别。

归一化是将数据映射到指定的范围，用于去除不同维度数据的量纲以及量纲单位，以提高不同数据指标之间的可比性。

近端梯度法（PGD）是一种特殊的梯度下降方法，主要用于求解目标函数不可微的最优化问题。

后剪枝是指在决策树生成后进行的剪枝操作。

概率图模型是指用图结构来表达变量相关关系的概率模型。

回归是一种对数值型连续随机变量进行预测和建模的监督学习算法。

规则学习是从训练数据中学习出一组由原子命题组成的 IF-THEN 的规则, 属于非监督学习的一种, 常用被归属为分类的一种.

根结点是在树数据结构中第一个结点。通常的结点可能具有父结点和子结点，但由于根音符是第一个结点，因此它只有子结点。

粒子群优化算法（PSO），又称微粒群算法，是基于群体智能理论的优化算法, 群体中的粒子在每次迭代搜索的过程中, 以完成对问题的寻优过程。

规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。

核范数是矩阵奇异值的和，用来约束矩阵的低秩。

关联分析是在交易数据、关系数据或其他信息载体中，查找存在于项目或对象集合之间的频繁模式、关联、相关性或因果结构。 关联分析方法 Apriori 算法 Apriori 算法是挖掘产生布尔关联规则所需频繁项集的基本算法，它使 […]

个体学习器是一个相对概念，它是集成学习中集成之前的学习器。 根据个体学习器的生成方式，集成学习的方法可分为以下两类： 存在强依赖关系，必须串行生成的序列化方法，代表是 Boosting； 不存在强依赖关系，可同时生成的并 […]

归纳法是一种推理过程，由一系列具体的事实概括出一般原理，其中数学的归纳方法是指从多个事物概括出一般性概念、原则或结论的思维方法。 归纳可分为完全归纳法和不完全归纳法： 完全归纳法：包含该类对象的全体，从而对该类对象作出一 […]

归纳学习是机器学习的一种方法，其通常被用于符号学习，主要通过给定关于某个概念的一系列已知正例和反例，并从中归纳出一个概念描述。 归纳学习可以获得新的概念，创立新的规则，发现新的理论，其一般操作是泛化和特化，其中泛化指扩展 […]

累积误差逆传播算法（ABP 算法），是标准的**逆传播（BP）算法**的变体，如果推导出基于累积误差最小化的更新规则，就得到了累积误差逆传播算法。

合页损失函数的形状像一个合页，这也是其名称的由来，这种损失函数主要存在于支持向量机，其不仅要求分类正确，而且确信度足够高时损失才是 0，即合页损失函数对学习有更高的要求。 合页损失函数的公式为 L ( y ( w * x […]

混合计算是一种整合计算，其包含传统的硬计算和新兴的软计算，该计算方式可以获取各自所长以克服局限性。 硬计算的主要特征： 易于建立问题的规范数学模型； 建立的数学模型易于求解，且能达到较高的精确度； 具有较好的稳定性。 软 […]